![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 75
RashaunHan
这个作者很懒,什么都没留下…
展开
-
Flume安装
1.上传 2解压tar -xzvf apache-flume-1.8.0-bin.tar.gz 3.修改flume-env.sh进入 flume 的目录,cp flume-env.sh.template flume-env.sh , 修改flume-env.sh,在里面配置 export JAVA_HOME=/usr/local/jdk1.8.0_191 4.配...原创 2018-12-04 11:34:51 · 1009 阅读 · 0 评论 -
Flume 的几种部署方案
1.单 Agent 采集数据 2.多 Agent 串联 3.多 Agent 合并串联 4.多路复用转载 2018-12-04 11:46:44 · 524 阅读 · 0 评论 -
Flume 核心组件
Flume 的数据流由事件(Event)贯穿始终。事件是 Flume 的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些 Event 由 Agent 外部的 Source 生成,当 Source 捕获事件后会进行特定的格式化,然后 Source 会把事件推入(单个或多个)Channel 中。你可以把Channel 看作是一个缓冲区,它将保存事件直到 S...原创 2018-12-04 11:48:25 · 739 阅读 · 0 评论 -
通过kafka,flume消费自己生产的数据到hbase的准备
1.启动zookeeper2.启动kafka集群的broker服务kafka-server-start.sh /home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties3.打开新的shell窗口创建主题kafka-topics.sh --zookeeper ali:2181 --topic calllog --crea...原创 2018-12-11 11:58:36 · 753 阅读 · 0 评论 -
启动flume出现ERROR lifecycle.LifecycleSupervisor: Unable to start SinkRunner: { policy:org.apache.flume.
在启动flume的时候出现如下错误 ERROR lifecycle.LifecycleSupervisor: Unable to start SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@1e3aff56 counterGroup:{ name:null counters:{} } } - Exceptio...原创 2019-01-08 17:22:34 · 7081 阅读 · 1 评论