![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
菜鸟也学大数据
这个作者很懒,什么都没留下…
展开
-
Flume到Kafka
Kafka创建Topic创建Topic:fk_rawkafka-topics.sh --create --zookeeper 192.168.**.**:2181 --topic fk_raw --partitions 1 --replication-factor 1Flume创建agent在flume/conf目录下创建:vi /opt/flume/conf/fk.conf 输入以下内容#定义sources名称fk.sources=fkSource#定义channels名称fk.原创 2020-12-08 17:02:07 · 180 阅读 · 0 评论 -
Flume 自定义拦截器
简述:本篇具体操作内容,在idea上实现自定义拦截器后打成jar包上传至linux上的Flume/lib目录下,然后在Linux上使用Flume实现监控端口7777,自己开启使用7777端口输入数据,数据输出至HDFS上自定义拦截器(interceptors)在Idea新建maven项目,并添加Flume依赖,根据自己使用的Flume版本修改版本号 <dependency> <groupId>org.apache.flume</groupId>.原创 2020-12-01 22:06:45 · 295 阅读 · 0 评论 -
Flume介绍、架构、安装以及使用
Flume包:flume-ng-1.6.0-cdh5.14.0.tarFlume安装流程第一步:解压Flume包:tar -zxvf /opt/flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt第二步:修改包名mv /opt/apache-flume-1.6.0-cdh5.14.0-bin /opt/Flume160第三步:拷贝一份Flume160/conf下的flume-env.sh.template:cp /opt/Flume160/conf/flume-env.原创 2020-12-01 00:06:41 · 517 阅读 · 0 评论