数据传输系列（1）—— Flume 简介及基本使用

已于 2025-01-07 14:45:29 修改
阅读量1k 收藏
点赞数
分类专栏： 大数据从入门到精通 文章标签： flume 大数据 etl
于 2023-10-15 22:02:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/133848520
版权

1.Flume简介

Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。

2. Flume架构和基本概念

下图为 Flume 的基本架构图：

了解本专栏 订阅专栏 解锁全文
数据传输系列（2）—— Flume 整合 Kafka
shangjg3的博客
10-16 1227
以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特性，能很好地抗住峰值数据的冲击。这里我们监听一个名为 `kafka.log` 的文件，当文件内容有变化时，将新增加的内容发送到 Kafka 的 `flume-kafka` 主题上。5. 启动Flume。
数据采集入门——Flume应用
m0_47396944的博客
04-29 2272
Flume应用 Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。一个agent内部有三个组件： · Source：采集源，用于跟数据源对接，以获取数据； · Channel：agent内部的数据传输通道，用于从source将数据传递到sink； · Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 在整个数据的传输的过程中，流动的是event
大数据采集工具——Flume简介&安装配置&使用教程
qq_73339471的博客
07-18 2078
Flume 是一个的，主要用于将大量的数据从（如日志文件、数据库、本地磁盘等）采集到（主要为）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。
大数据技术——Flume简介&安装配置&使用案例
weixin_44606952的博客
11-29 1万+
1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3. Flume 使用案例 3.1 实时监控单个追加文件 3.2 实时监控目录下多个新文件 3.3 实时监控目录下的多个追加文件
Flume配置案例——Flume传输数据给Kafka
极地星辰
06-08 3365
相关知识 Flume是一个海量日志采集、聚合和传输的日志收集系统。 Kafka是一个可持久化的分布式的消息队列。 由于采集和处理数据的速度不一定同步，所以使用Kafka这个消息中间件来缓冲，如果你收集了日志后，想输出到多个业务方也可结合Kafka，Kafka支持多个业务来读取数据。 系统环境 Linux Ubuntu 14.04 jdk-7u75-linux-x64 kafka_2.10-0.8....
Flume应用实战——Flume安装及简单使用
热门推荐
干勾鱼的CSDN博客
08-07 2万+
地方
数据采集工具——Flume
qq_43408367的博客
09-12 783
Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于采集数据；Flume提供对数据进行简单处理，并写到各种数据接收方的能力。Flume是实时采集日志的数据采集引擎。
大数据——Flume安装配置和使用
蜂蜜柚子加苦茶
12-10 760
Flume日志收集Flume安装和配置背景监控端口数据监控文件信息监控文件夹中的新文件监控文件写入HDFS中 Flume安装和配置 上传Flume安装包至服务器根目录下的software目录下，并解压到根目录下的opt目录下 [root@hadoop100 software]# tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt 进入opt目录下，并更改解压后的名字 [root@hadoop100 software]# cd /opt [root@h
小白学数据仓库日记day1——flume
qq_42515611的博客
07-20 393
Flume重要概念: Event:表示Flume中对数据的封装,一条数据即为一个事件,事件包括 header和body Ageng:即Flume程序,包含组件Source、 Channel、 Sink Source:是决定从哪种数据源接收数据 (file\tcp\http) Channel: 在数据传输过程中的通道 (memory file) Sink:决定将数据输出到何处 hdfs mysql kafka 组件及其作用 - Client： 客户端，Client生产数据，运行在一个独立的线程中...
大数据——Flume
Fleehom的博客
02-06 1844
一、概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。同时，Flume基于流式架构，因此使用起来灵活简单。 二、Flume基础结构 Flume主要由Source、Channel、Sink三个部分组成，这三部分组成了一个Agent。Agent是一个JVM进程，它以事件event的形式将数据从源头送至目的地。 Source：负责接收数据到Flume Agent的组件，可以处理各种类型、各种格式的日志数据。 Sink：Sink不断地轮询Chann
hadoop集群配置之————flume安装配置（详细版）
07-23
- Event：是Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。一个Event由Header和Body两部分组成，Header用来存放该event的一些属性，为键值(K-V)结构；Body用来存放该条数据，形式为字节数组。 ...
（二）数据采集——Flume
点滴记录IT技术进程
12-22 1388
文章目录一、Flume概述1. 引言2. 数据源二、Flume架构1. 架构图2. 组件及其功能3. Flume运行流程4. Flume核心组件SourceChannelSink三、Flume安装1. 运行环境2. 安装步骤四、Flume使用入门1. 配置文件2. 启动Flume五、Flume和log4j集成1. 依赖2. 配置日志文件3. 配置flume配置文件4. 启动运行5. 查看结果六、多...
半小时速通flume-flume正文学习
m0_52474839的博客
01-25 986
需求分析：​自定义拦截器的选择器类型不能使用传统的replicating而是multipllexing上述头信息配置state，若头信息匹配到CZ则使用c1，若头信息使用US则使用c2，c3，没有头信息，那么配置c4即可具体来说就是在拦截器类内部构造一个静态类实现Builer接口，重写build方法，构造类即可。import org/**// 声明一个集合收集拦截器处理后的event private List < Event > addHeaderEvents;
半小时速通flume-flume概述
m0_52474839的博客
01-25 483
Flume是Cloudera提供的一个高可用，高可靠的，分布式海量数据日志采集，聚合，传输系统。基于流式架构，动态实现，上传一条采集一条。企业开发，flume–>kafka集群–>hdfsflume动态采集—实时；若做离线业务，完全可以使用put命令。
flume和kafka整合 flume和kafka为什么一起用？
Shinobi_Jack的博客
01-23 933
‌‌‌
【MQ】探索 Kafka
贾斯丁的博客
01-24 844
消息的顺序性、顺序写磁盘零拷贝RocketMQ内部主要是使用基于mmap实现的零拷贝，用来读写文件减少cpu的拷贝次数和上下文切换次数，实现文件的高效读写操作零拷贝顺序写磁盘页缓存技术批量传输与压缩消息网络模型分区并发高效的文件数据结构。
【Prometheus】RabbitMQ安装部署，如何通过prometheus监控RabbitMQ
景天科技苑
01-24 5169
RabbitMQ是一个开源的消息代理和队列服务器，它使用Erlang语言编写并运行在多种操作系统上，如Linux、Windows等。RabbitMQ可以接收、存储和转发消息（也称为“事件”）到连接的客户端。它适用于多种场景，包括异步通信、流量削峰、应用解耦等。本文详述RabbitMQ的安装部署和通过prometheus监控RabbitMQ的方法
doris: CSV导入数据
最新发布
qq_36070104的博客
01-25 962
doris: CSV导入数据
zookeeper的介绍和简单使用
qq_73797346的博客
01-22 1134
zookeeper是一个开源的分布式协调服务，由Apache软件基金会提供，主要用于解决分布式应用中的数据管理、状态同步和集群协调等问题。通过提供一个高性能、高可用的协调服务，帮助构建可靠的分布式系统。Zookeeper采用Leader-Follower架构，集群通常由奇数个节点组成，以确保在网络分区或节点故障时仍能实现一致性与可用性。核心机制是ZAB协议（Zookeeper Atomic Broadcast），一种崩溃恢复的原子广播协议，保证了在网络分区和崩溃时的最终一致性和持久性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值