Flume-ng的原理和使用

最新推荐文章于 2021-11-23 23:24:54 发布
最新推荐文章于 2021-11-23 23:24:54 发布
阅读量306 收藏 1
点赞数
分类专栏： 大数据 文章标签： flume hadoop 数据 日志
 
Flume-ng的原理和使用
2014.07.22 |  Comments
1. 介绍
Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。
Flume 使用 java 编写，其需要运行在 Java1.6 或更高版本之上。
2. 架构
Flume的架构主要有一下 几个核心概念 ：
  • Event：一个数据单元，带有一个可选的消息头
  • Flow：Event从源点到达目的点的迁移的抽象
  • Client：操作位于源点处的Event，将其发送到Flume Agent
  • Agent：一个独立的Flume进程，包含组件Source、Channel、Sink
  • Source：用来消费传递到该组件的Event
  • Channel：中转Event的一个临时存储，保存有Source组件传递过来的Event
  • Sink：从Channel中读取并移除Event，将Event传递到Flow Pipeline中的下一个Agent（如果有的话）
2.1 数据流
Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。
Flume 传输的数据的基本单位是 Event，如果是文本文件，通常是一行记录，这也是事务的基本单位。Event 从 Source，流向 Channel，再到 Sink，本身为一个 byte 数组，并可携带 headers 信息。Event 代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。
Flume 运行的核心是 Agent。它是一个完整的数据收集工具，含有三个核心组件，分别是 source、channel、sink。通过这些组件，Event 可以从一个地方流向另一个地方，如下图所示。

  • source 可以接收外部源发送过来的数据。不同的 source，可以接受不同的数据格式。比如有目录池(spooling directory)数据源，可以监控指定文件夹中的新文件变化，如果目录中有文件产生，就会立刻读取其内容。
  • channel 是一个存储地，接收 source 的输出，直到有 sink 消费掉 channel 中的数据。channel 中的数据直到进入到下一个channel中或者进入终端才会被删除。当 sink 写入失败后，可以自动重启，不会造成数据丢失，因此很可靠。
  • sink 会消费 channel 中的数据，然后送给外部源或者其他 source。如数据可以写入到 HDFS 或者 HBase 中。
2.2 核心组件
2.2.1 source
Client端操作消费数据的来源，Flume 支持 Avro，log4j，syslog 和 http post(body为json格式)。 可以让应用程序同已有的Source直接打交道 ，如AvroSource，SyslogTcpSource。 也可以 写一个 Source，以 IPC 或 RPC 的方式接入自己的应用 ，Avro和 Thrift 都可以(分别有 NettyAvroRpcClient 和 ThriftRpcClient 实现了 RpcClient接口)，其中 Avro 是默认的 RPC 协议。具体代码级别的 Client 端数据接入，可以参考官方手册。
对现有程序改动最小的使用方式是使用是直接读取程序原来记录的日志文件，基本可以实现无缝接入，不需要对现有程序进行任何改动。 对于 直接读取文件 Source,有两种方式：
  • ExecSource: 以运行 Linux 命令的方式，持续的输出最新的数据，如 tail -F 文件名 指令，在这种方式下，取的文件名必须是指定的。 ExecSource 可以实现对日志的实时收集，但是存在Flume不运行或者指令执行出错时，将无法收集到日志数据，无法保证日志数据的完整性。
  • SpoolSource: 监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意两点：拷贝到 spool 目录下的文件不可以再打开编辑；spool 目录下不可包含相应的子目录。
SpoolSource 虽然 无法实现实时的收集数据 ，但是可以使用以分钟的方式 分割文件 ，趋近于实时。
如果应用无法实现以分钟切割日志文件的话， 可以 两种收集方式结合使用 。 在实际使用的过程中，可以结合 log4j 使用，使用 log4j的时候，将 log4j 的文件分割机制设为1分钟一次，将文件拷贝到spool的监控目录。
log4j 有一个 TimeRolling 的插件，可以把 log4j 分割文件到 spool 目录。基本实现了实时的监控。Flume 在传完文件之后，将会修改文件的后缀，变为 .COMPLETED（后缀也可以在配置文件中灵活指定）。
Flume Source 支持的类型：
Source类型 说明  
Avro Source 支持Avro协议（实际上是Avro RPC），内置支持  
Thrift Source 支持Thrift协议，内置支持  
  Exec Source 基于Unix的command在标准输出上生产数据
JMS Source 从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过  
Spooling Directory Source 监控指定目录内数据变更  
Twitter 1% firehose Source 通过API持续下载Twitter数据，试验性质  
Netcat Source 监控某个端口，将流经端口的每一个文本行数据作为Event输入  
Sequence Generator Source 序列生成器数据源，生产序列数据  
Syslog Sources 读取syslog数据，产生Event，支持UDP和TCP两种协议  
HTTP Source 基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式  
Legacy Sources 兼容老的Flume OG中Source（0.9.x版本）  
2.2.2 Channel
当前有几个 channel 可供选择，分别是 Memory Channel, JDBC Channel , File Channel，Psuedo Transaction Channel。比较常见的是前三种 channel。
  • MemoryChannel 可以实现高速的吞吐，但是无法保证数据的完整性。
  • MemoryRecoverChannel 在官方文档的建议上已经建义使用FileChannel来替换。
  • FileChannel保证数据的完整性与一致性。在具体配置FileChannel时，建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘，以便提高效率。
File Channel 是一个 持久化的隧道 （channel），它持久化所有的事件，并将其存储到磁盘中。因此，即使 Java 虚拟机当掉，或者操作系统崩溃或重启，再或者事件没有在管道中成功地传递到下一个代理（agent），这一切都不会造成数据丢失。Memory Channel 是一个 不稳定的隧道 ，其原因是由于它在内存中存储所有事件。如果 java 进程死掉，任何存储在内存的事件将会丢失。另外，内存的空间收到 RAM大小的限制,而 File Channel 这方面是它的优势，只要磁盘空间足够，它就可以将所有事件数据存储到磁盘上。
Flume Channel 支持的类型：
Channel类型 说明
Memory Channel Event数据存储在内存中
JDBC Channel Event数据存储在持久化存储中，当前Flume Channel内置支持Derby
File Channel Event数据存储在磁盘文件中
Spillable Memory Channel Event数据存储在内存中和磁盘上，当内存队列满了，会持久化到磁盘文件（当前试验性的，不建议生产环境使用）
Pseudo Transaction Channel 测试用途
Custom Channel 自定义Channel实现
2.2.3 sink
Sink在设置存储数据时，可以向文件系统、数据库、hadoop 存数据 ，在日志数据较 少 时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据。在日志数据较 多 时，可以将相应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。
Flume Sink支持的类型
Sink类型 说明
HDFS Sink 数据写入HDFS
Logger Sink 数据写入日志文件
Avro Sink 数据被转换成Avro Event，然后发送到配置的RPC端口上
Thrift Sink 数据被转换成Thrift Event，然后发送到配置的RPC端口上
IRC Sink 数据在IRC上进行回放
File Roll Sink 存储数据到本地文件系统
Null Sink 丢弃到所有数据
HBase Sink 数据写入HBase数据库
Morphline Solr Sink 数据发送到Solr搜索服务器（集群）
ElasticSearch Sink 数据发送到Elastic Search搜索服务器（集群）
Kite Dataset Sink 写数据到Kite Dataset，试验性质的
Custom Sink 自定义Sink实现
更多sink的内容可以参考 官方手册 。
2.3 可靠性
Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。
Flume 使用事务性的方式保证传送Event整个过程的可靠性。Sink 必须在 Event 被存入 Channel 后，或者，已经被传达到下一站agent里，又或者，已经被存入外部数据目的地之后，才能把 Event 从 Channel 中 remove 掉。这样数据流里的 event 无论是在一个 agent 里还是多个 agent 之间流转，都能保证可靠，因为以上的事务保证了 event 会被成功存储起来。而 Channel 的多种实现在可恢复性上有不同的保证。也保证了 event 不同程度的可靠性。比如 Flume 支持在本地保存一份文件 channel 作为备份，而memory channel 将 event 存在内存 queue 里，速度快，但丢失的话无法恢复。
2.4 可恢复性
3. 使用场景
下面，根据官网文档，我们展示几种Flow Pipeline，各自适应于什么样的应用场景：
  • 多个 agent （一个独立的flume进程）顺序连接：

可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。
  • 多个Agent的数据汇聚到同一个Agent:

这种情况应用的场景比较多，比如要收集Web网站的用户行为日志，Web网站为了可用性使用的负载均衡的集群模式，每个节点都产生用户行为日志，可以为每个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上。
  • 多路（Multiplexing）Agent

这种模式，有两种方式，一种是用来 复制 （Replication），另一种是用来 分流 （Multiplexing）。 Replication方式 ，可以将最前端的数据源复制多份，分别传递到多个channel中，每个channel接收到的数据都是相同的。
配置格式示例如下：
# List the sources, sinks and channels for the agent <Agent>.sources = <Source1> <Agent>.sinks = <Sink1> <Sink2> <Agent>.channels = <Channel1> <Channel2> # set list of channels for source (separated by space) <Agent>.sources.<Source1>.channels = <Channel1> <Channel2> # set channel for sinks <Agent>.sinks.<Sink1>.channel = <Channel1> <Agent>.sinks.<Sink2>.channel = <Channel2> <Agent>.sources.<Source1>.selector.type = replicating
上面指定了selector的type的值为replication，其他的配置没有指定，使用的Replication方式，Source1会将数据分别存储到Channel1和Channel2，这两个channel里面存储的数据是相同的，然后数据被传递到Sink1和Sink2。
Multiplexing方式 ，selector可以根据header的值来确定数据传递到哪一个channel，配置格式，如下所示：
# Mapping for multiplexing selector <Agent>.sources.<Source1>.selector.type = multiplexing <Agent>.sources.<Source1>.selector.header = <someHeader> <Agent>.sources.<Source1>.selector.mapping.<Value1> = <Channel1><Agent>.sources.<Source1>.selector.mapping.<Value2> = <Channel1> <Channel2><Agent>.sources.<Source1>.selector.mapping.<Value3> = <Channel2> #... <Agent>.sources.<Source1>.selector.default = <Channel2>
上面selector的type的值为multiplexing，同时配置selector的header信息，还配置了多个selector的mapping的值，即header的值：如果header的值为Value1、Value2，数据从Source1路由到Channel1；如果header的值为Value2、Value3，数据从Source1路由到Channel2。
  • 实现load balance功能

Load balancing Sink Processor能够实现load balance功能，上图Agent1是一个路由节点，负责将Channel暂存的Event均衡到对应的多个Sink组件上，而每个Sink组件分别连接到一个独立的Agent上，示例配置，如下所示：
a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 k3 a1.sinkgroups.g1.processor.type = load_balance a1.sinkgroups.g1.processor.backoff = true a1.sinkgroups.g1.processor.selector = round_robin a1.sinkgroups.g1.processor.selector.maxTimeOut= 10000
  • 实现failover（失效备援）能
Failover Sink Processor能够实现failover功能，具体流程类似load balance，但是内部处理机制与load balance完全不同：Failover Sink Processor维护一个 优先级Sink组件列表 ，只要有一个Sink组件可用，Event就被传递到下一个组件。如果一个Sink能够成功处理Event，则会加入到一个Pool中，否则会被移出Pool并计算失败次数，设置一个惩罚因子，示例配置如下所示：
a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 k3 a1.sinkgroups.g1.processor.type = failover a1.sinkgroups.g1.processor.priority.k1 = 5 a1.sinkgroups.g1.processor.priority.k2 = 7 a1.sinkgroups.g1.processor.priority.k3 = 6 a1.sinkgroups.g1.processor.maxpenalty = 20000
4. 安装和使用
Flume 的 rpm 安装方式很简单，这里不做说明。
示例1： avro 数据源
安装成功之后，在 /etc/flume/conf 目录创建f1.conf 文件，内容如下:
agent-1.channels.ch-1.type = memory agent-1.sources.avro-source1.channels = ch-1 agent-1.sources.avro-source1.type = avro agent-1.sources.avro-source1.bind = 0.0.0.0 agent-1.sources.avro-source1.port = 41414 agent-1.sources.avro-source1.threads = 5 agent-1.sinks.log-sink1.channel = ch-1 agent-1.sinks.log-sink1.type = logger agent-1.channels = ch-1 agent-1.sources = avro-source1 agent-1.sinks = log-sink1
关于 avro-source 配置说明，请参考  avro-source
接下来启动 agent：
$ flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/f1.conf -Dflume.root.logger = DEBUG,console -n agent-1
参数说明：
  • -n 指定agent名称
  • -c 指定配置文件目录
  • -f 指定配置文件
  • -Dflume.root.logger=DEBUG,console 设置日志等级
下面可以启动一个 avro-client 客户端生产数据：
$ flume-ng avro-client -c /etc/flume-ng/conf -H localhost -p 41414 -F /etc/passwd -Dflume.root.logger = DEBUG,console
示例2：spooldir 数据源
在 /etc/flume/conf 目录创建 f2.conf 文件，内容如下:
agent-1.channels = ch-1 agent-1.sources = src-1 agent-1.channels.ch-1.type = memory agent-1.sources.src-1.type = spooldir agent-1.sources.src-1.channels = ch-1 agent-1.sources.src-1.spoolDir = /root/log agent-1.sources.src-1.fileHeader = true agent-1.sinks.log-sink1.channel = ch-1 agent-1.sinks.log-sink1.type = logger agent-1.sinks = log-sink1
关于 Spooling Directory Source 配置说明，请参考  Spooling Directory Source
接下来启动 agent：
$ flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/f2.conf -Dflume.root.logger = DEBUG,console -n agent-1
然后，手动拷贝一个文件到 /root/log 目录，观察日志输出以及/root/log 目录下的变化。
示例3：spooldir 数据源，写入 hdfs
在 /etc/flume/conf 目录创建 f3.conf 文件，内容如下:
agent-1.channels.ch-1.type = file agent-1.channels.ch-1.checkpointDir= /root/checkpoint agent-1.channels.ch-1.dataDirs= /root/data agent-1.sources.src-1.type = spooldir agent-1.sources.src-1.channels = ch-1 agent-1.sources.src-1.spoolDir = /root/log agent-1.sources.src-1.deletePolicy= never agent-1.sources.src-1.fileHeader = true agent-1.sources.src-1.interceptors = i1 agent-1.sources.src-1.interceptors.i1.type = timestamp agent-1.sinks.sink_hdfs.channel = ch-1 agent-1.sinks.sink_hdfs.type = hdfs agent-1.sinks.sink_hdfs.hdfs.path = hdfs://cdh1:8020/user/root/events/%Y-%m-%d agent-1.sinks.sink_hdfs.hdfs.filePrefix = logs agent-1.sinks.sink_hdfs.hdfs.inUsePrefix = . agent-1.sinks.sink_hdfs.hdfs.rollInterval = 30 agent-1.sinks.sink_hdfs.hdfs.rollSize = 0 agent-1.sinks.sink_hdfs.hdfs.rollCount = 0 agent-1.sinks.sink_hdfs.hdfs.batchSize = 1000 agent-1.sinks.sink_hdfs.hdfs.writeFormat = text agent-1.sinks.sink_hdfs.hdfs.fileType = DataStream #agent-1.sinks.sink_hdfs.hdfs.fileType = CompressedStream#agent-1.sinks.sink_hdfs.hdfs.codeC = lzop agent-1.channels = ch-1 agent-1.sources = src-1 agent-1.sinks = sink_hdfs
关于 HDFS Sink配置说明，请参考  HDFS Sink
说明：
  1. 通过 interceptors 往 header 里添加 timestamp，这样做，可以在 hdfs.path 引用系统内部的时间变量或者主机的 hostname。
  2. 通过设置 hdfs.inUsePrefix，例如设置为 .时，hdfs 会把该文件当做隐藏文件，以避免在 mr 过程中读到这些临时文件，引起一些错误
  3. 如果使用 lzo 压缩，则需要手动创建 lzo 索引，可以通过修改 HdfsSink 的代码，通过代码创建索引
  4. FileChannel 的目录最好是和 spooldir 的数据目录处于不同磁盘。
示例4：spooldir 数据源，写入 HBase
关于 HBase Sink 配置说明，请参考  HBase Sink
5. 开发相关
5.1 编译源代码
从 github 下载源代码并编译：
$ git clone git@github.com:cloudera/flume-ng.git -b cdh4-1.4.0_4.7.0 $ cd flume-ng $ mvn install -DskipTests -Phadoop-2
如果提示找不到 hadoop-test 的 jar 包，则修改 pom.xml 中的版本，如改为  2.0.0-mr1-cdh4.7.0 ，具体版本视你使用的分支版本而定，我这里是 cdh4.7.0。
如果提示找不到 uanodeset-parser 的 jarb，则在 pom.xml 中添加下面仓库：
<repository> <id> tempo-db </id> <url> http://maven.tempo-db.com/artifactory/list/twitter/ </url> <snapshots> <enabled> false </enabled> </snapshots> </repository>
6. 最佳实践
参考 基于Flume的美团日志收集系统(一)架构和设计 ，列出一些最佳实践：
  • 模块命名规则：所有的 Source 以 src 开头，所有的 Channel 以 ch 开头，所有的 Sink 以 sink 开头；
  • 模块之间内部通信统一使用 Avro 接口；
  • 将日志采集系统系统分为三层：Agent 层，Collector 层和 Store 层，其中 Agent 层每个机器部署一个进程，负责对单机的日志收集工作；Collector 层部署在中心服务器上，负责接收Agent层发送的日志，并且将日志根据路由规则写到相应的 Store 层中；Store 层负责提供永久或者临时的日志存储服务，或者将日志流导向其它服务器。
  • 扩展 MemoryChannel 和 FileChannel ，提供 DualChannel 的实现，以提供高吞吐和大缓存
  • 监控 collector HdfsSink写数据到 hdfs 的速度、FileChannel 中拥堵的 events 数量，以及写 hdfs 状态（查看是否有 .tmp 文件生成）
美团对 flume 的改进代码见 github： https://github.com/javachen/mt-flume 。
7. 参考文章
heishu007
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume NG 学习笔记（九）Flune Client 开发
顾晓艳的专栏
10-30 8603
文章内容还是来自官网http://flume.apache.org/FlumeDeveloperGuide.html 由于在实际工作中，数据的生产方式极具多样性，Flume 虽然包含了一些内置的机制来采集数据，但是更多的时候用户更希望能将应用程序和flume直接相通。所以这边运行用户开发应用程序，通过IPC或者RPC连接flume并往flume发送数据。 一、RPC client interf
你连Nginx怎么转发给你请求都说不清楚，还好意思说自己不是CRUD工程师？
weixin_33733810的博客
04-26 681
一、Nginx工作原理二、Nginx进程模型三、Nginx处理HTTP请求流程Nginx 工作原理Nginx由内核和模块组成，Nginx本身做的工作实际很少，当它接到一个HTTP请求时，它仅仅是通过查找配置文件将此次请求映射到一个location block。此location中所配置的各个指令则会启动不同的模块去完成工作，因此模块可以看做Nginx真正的劳动工作者。通常一个...
Flume基本原理及使用
weixin_41812379的博客
11-23 3307
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume最主要是用在分布式系统中，例如读取服务器本地的磁盘数据，并将数据写入到HDFS中。 对Flume的学习，最好就是结合官方文档进行学习。文档中有各种使用场景的配置，在开发的过程中，可以通过编写flume的工作配置文件来调用flume实现数据提取。 Flume文档地址：http://flume.apache.org/FlumeUserGuide.html 文档内有各种source, channel, sink, selecto
Flume的学习及使用
xhzxhz12的博客
05-19 768
第一章：Flume的简介 1.1 大数据处理流程 在企业中，大数据的处理流程一般是： 1.数据采集 2.数据存储 3.数据清洗 4.数据分析 5.数据展示 参考下图： 1.2 Flume的简介 Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 参考官网： http://flume.apache
Flume-NG源码分析-整体结构及配置载入分析
weixin_33932129的博客
03-22 131
弦外之音 很多朋友都在问我，经常看各种框架的源码会不会感到很枯燥，是什么东西在驱动着我一直看下去。其实我想说的很简单，作为一个程序员，不管你工作了多少年，能够经常学习和借鉴国内外优秀框架设计思想和程序架构，我想对我们来说是最直接的提高。 终于开始Flume源码的分析研究工作了，我也是边学边和大家分享，内容...
Flume-ng-1.6.0-cdh.zip
04-08
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。
flume-ng-sql-source:Flume Source从SQL数据库导入数据
05-12
flume-ng-sql-source 该项目用于与sql数据库进行通信 当前支持SQL数据库引擎 在最后一次更新之后，该代码已与hibernate集成在一起，因此该技术支持的所有数据库均应正常工作。 编译与包装 $ mvn package 部署方式 ...
flume-ng-sql-source-1.5.3.jar
11-26
flume-ng-sql-source-1.5.3.jar，flume采集mysql数据jar包，将此文件拖入FLUME_HOME/lib目录下，如果是CM下CDH版本的flume，则放到/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib下，同样需要的包还有mysql-...
flume-ng-sql-source-1.5.2
10-12
flume-ng-sql-source-1.5.2源码
flume-ng-sql-source-release-1.5.2.zip
06-26
flume-ng-sql-source-release-1.5.2.jar 用flume-ng-sql-source 从数据库抽取数据到kafka，支持sql
Flume-ng
兔子先生i
07-07 284
埋点：埋点分析，是网站分析的一种常用的数据采集方法。数据埋点分为初级、中级、高级三种方式。数据埋点是一种良好的私有化部署数据采集方式。埋点技术如何采集数据，有何优缺点？数据埋点分为初级、中级、高级三种方式，分别为：初级：在产品、服务转化关键点植入统计代码，据其独立ID确保数据采集不重复（如购买按钮点击率）；中级：植入多段代码，追踪用户在平台每个界面上的系列行为，事件之间相互独立（如打开商品详情页—...
[Flume] 02 -flume-ng、核心概念、Source/Channel/Sink类型
神是念着倒
05-27 438
关键词： Flume-og和Flume-ng的变化 https://www.cnblogs.com/zlslch/p/6116515.html https://justflyfaraway.iteye.com/blog/2188854 https://www.cnblogs.com/zlslch/p/6116554.html 1、源码结构 tree形式结构 2、有哪些特点、核心思想、几个核心概念 ...
分布式日志收集框架 Flume NG 实战案例
SHOWufei
04-16 760
写在最前之应用场景： flume 在大数据中扮演着数据收集的角色，收集到数据以后再通过计算框架进行处理。flume 是 Cloudera 提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，flume 支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume 提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。 Flume 作为 Hadoop 中的日志采集...
Flume NG 简介及配置实战
xtqve的专栏
12-04 631
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输
Flume NG 基本架构及原理
木东居士
09-14 9152
1 介绍Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均
Flume-og和Flume-ng的变化
u012689336的专栏
09-26 2979
Flume是一个分布式、可靠、高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方。
Flume-ng源码分析--启动脚本解析
BattleWolf_HUA的博客
03-09 846
Flume源码分析–flume-ng解析 以此篇作为研究、学习源码的起步。 Flume简介 Flume 是一个高可用的、高可靠的分布式系统，可以从不同的数据源进行日志的采集、聚合、传输，可以将采集到的日志传输到HDFS、HBase、MySQL等。数据源和接收数据的端都是可定制的。 Flume本地化调试 1、安装java JDK。 2、从FLume官网下载编译好的flume包和flume源码包，并进...
FLUME-NG 使用总结
weixin_44387652的博客
04-20 1107
FLUME-NG 使用总结1、Flume-NG 概述2、Flume-NG 架构设计要点3、Flow Pipeline4、Flume NG 三个组件概要4.1、FlumeSource4.2、FlumeChannel4.3、FlumeSink5、入门应用5.1、flume-ng 通过网络端口采集数据5.2、flume-ng 通过Exec tail采集数据5.3、可能遇到的问题 1、Flume-NG 概述 Flume-NG 是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，
[ys@hadoop102 flume]$ flume-ng agent --conf-file /path/to/file-flume-kafka.conf --name kafka-flume-agent -Dflume.root.logger=INFO,console bash: flume-ng: 未找到命令...
最新发布
06-10
/home/ys/flume/bin/flume-ng agent --conf-file /path/to/file-flume-kafka.conf --name kafka-flume-agent -Dflume.root.logger=INFO,console ``` 请将路径/home/ys/flume/bin/替换为您自己的Flume安装路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值