flume基础（二）

最新推荐文章于 2023-01-24 14:18:59 发布
最新推荐文章于 2023-01-24 14:18:59 发布
阅读量293 收藏
点赞数 1
分类专栏： flume 大数据 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010170616/article/details/80841001
版权
本文介绍了Flume的基本组件，包括Source、Channel和Sink的内置类型。Flume Source作为数据接收端，从1.6.0版本开始支持Kafka；Channel的处理速度大约为十几M每秒；Sink负责将数据存储到如HDFS，需要注意存储速度。此外，还提及了ChannelSelector、Sink Processor、EventSerializer和Interceptor等组件，这些都可在Flume官方用户手册中找到详细信息。
摘要由CSDN通过智能技术生成

Flume 的 Source、Channel和Sink的内置类型如下：

（可参考官网修改配置  http://flume.apache.org/FlumeUserGuide.html）

 

Flume Source

Source类型

说明

Avro Source

支持Avro协议（实际上是Avro RPC），内置支持

Thrift Source

支持Thrift协议，内置支持

Exec Source

基于Unix的command在标准输出上生产数据

JMS Source

从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过

Spooling Directory Source

监控指定目录内数据变更

Taildir Source

 

Twitter 1% firehose Source

通过API持续下载Twitter数据，试验性质

Kalfka Source

支持K
最低0.47元/天 解锁文章
今天摸鱼了吗
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume基础知识大全
木樨
06-01 362
文章目录前言日志采集框架Flume1 Flume介绍1.1 概述1.2 运行机制1.3 Flume采集系统结构图2 Flume实战案例2.1 Flume接受telent数据第一步：开发配置文件第二步：启动配置文件第三步：安装telent准备测试2.2 采集案例1、采集目录到HDFS2、采集文件到HDFS3、两个agent级联3 更多source和sink组件4 高可用Flum-NG配置案例failover4.1、角色分配4.2、node01安装配置flume与拷贝文件脚本4.3、node02与node03配
大数据开发笔记（六）：Flume基础学习
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-04 4791
Flume基础 1、Flume是什么？ Flume是数据采集，日志收集的框架，通过分布式形式进行采集,(高可用分布式) 本质：可以高效从各个网站服务器中收集日志数据，并且存储到HDFS、hbase 2、Flume可以对接的数据源？ Console、RPC、Text、Tail、Syslog、Exec等 3、Flume接受的数据源输出目标？ 磁盘，hdfs,hbase, 经过网络传输kafka data->flume->kafka->spark stre...
Flume基础
m0_57126456的博客
10-14 1383
1.Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，灵活简单。 2.Flume的基础架构 Flume 架构中的组件： 2.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 2.2 Source Source 是负责接收...
Flume基础知识
qq_54070501的博客
06-16 281
Flume
Flume基础入门
learner_up的博客
05-09 225
flume 核心概念 Client：Client生产数据，运行在一个独立的线程 agent：java 进程，运行在日志收集节点上（服务器节点），包含source、channel、sink三个核心组件 source：从Client收集数据，可以处理各种类型各种格式的日志数据。数据封装到事件（event） 里被传递给channel channel：缓存收集来的数据，保存由Source组件传递过来的Event sink：从channel中取出数据，发送到目的地。目的地包括hdfs、logger、
【Flume】（二）Flume 定义和基础架构
01-20
**二、Flume基础架构** Flume的基础组件是Agent，每个Agent是一个运行在Java虚拟机（JVM）上的独立进程。Agent是Flume工作的核心，它负责从源头接收数据并将其传输到目的地。 1. **Source**：Source是数据流入Flume...
Flume 基础架构.pptx )
08-31
### Flume 基础架构知识点详解 #### 一、Flume 整体架构概述 Flume 是一款高效、可靠的服务，用于收集、聚合和移动大量日志数据。它的核心功能是将各种来源的日志数据汇聚到一个集中的存储位置（如HDFS）。Flume ...
Flume集群搭建
10-25
#### 二、Flume集群搭建步骤 根据提供的内容，我们将详细介绍如何搭建一个简单的Flume集群，该集群包含两个节点：**agent**和**collect**。其中，**agent**负责收集日志数据并将其转发给**collect**，而**collect**...
flume自学手册
12-05
#### 二、Flume架构详解 **1. 数据流** Flume的核心功能是将数据从源头收集，并传递到目的地。数据传输过程中的关键组件包括source、channel和sink，它们共同构成了数据流动的基础框架。 - **Source：** 负责从...
Flume日志采集手册.docx
最新发布
07-24
1、基础描述 2、架构模型 二、安装过程 1、安装包 2、解压命名 3、配置文件 4、修改配置 5、环境测试 三、应用案例 1、案例描述 2、创建kafka配置 3、修改sink配置 4、创建kafka的Topic 5、启动Kakfa消费 6、启动...
实战Flume基础
05-13
实战flume基础，带你入门，分布式、高可靠的和高可用的日志采集系统，用 来从不同来源的系统中采集、汇总和搬移大容量的日志数据到一个集中式的数据存储中
flume学习一：flume基础知识
热门推荐
健康平安的活着的专栏
05-30 1万+
一．Flume使用的前提： Flume使用 java编写，其需要运行在 Java1.6或更高版本之上。 二．Flume的定义： Flume是一个分布式、可靠、高效可用的海量日志采集、聚合和传输系统，支持在系统中定制各类数据发送方，用于搜集数据；同时，flume提供对数据进行加单处理，并写到各种数据接受方（可定制）的能力。 核心一句话：将数据从数据源收集过来，再送到目的地。为了保证输送一...
Flume基础概述
Carroll的学习博客
11-28 392
Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。Flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中 运行机制Flume的核心就是一个agent，这个agent对外有两个进行交互的地方，一个是接受数据的输入——source
flume基础（三）
LexKaing 学习天地
03-02 180
flume启动 进入flume客户端的bin目录，执行命令： ./flume-ng agent --conf ../conf/ -f ../conf/flumeToKafka.conf -Dflume.root.logger=DEBUG,console -n agentDemo 配置文件名：flumeToKafka，配置文件中agent的名称：agentDemo ##关闭...
Flume超详细知识点汇总(基础篇)
m0_73541150的博客
01-24 1193
Flume知识点总结(基础篇)
flume简单入门
weixin_43167990的博客
10-09 905
Flume 介绍 概述 Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 支持定制各类数据发送方，用于收集各类型数据；Flume 支持定制各类数据发送方，用于收集各类型数据；同时， Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 一般的采集需求，通过对 flume 的简单配置即可实现。 针对特殊场景也具备良好的自定义扩展能力。 ...
大数据小白必知必会的Flume基础，建议收藏!
大数据梦想家
12-05 5320
        在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 文章目录1. Flume介绍1.1 概述1.2 运行机制1.3 Flum...
Flume架构、Flume工作原理、Flume应用场景
zjh_746140129的博客
11-07 3564
一、Flume概述 Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方） Flume 官网：http://flume.apache.org/  Flume 官方文档：http://flume.apache.org/FlumeUs...
flume介绍及其原理
anningzhu的博客
03-05 1085
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 flume可以搜集数据，合并数据。合并到什么地方，可以是hdfs。也就是flume可以与hadoop相结合 复制代码 设计目标： (1) 可靠性 当节
Flume 0.9.4 架构解析与特点
- **Agent**: Agent 是Flume 的基础工作单元，它包含源（Source）、通道（Channel）和接收器（Sink）。Source 负责从各种数据源收集数据，Channel 存储数据，Sink 则将数据传输到下一阶段，如Collector 或者直接存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值