![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
Bright Huang
这个作者很懒,什么都没留下…
展开
-
flume采集数据实例(安装flume 、nc--telnet、监控 telnet、文件末尾变动内容、复制的指定路径文件到hdfs并过滤)
案例使用文件下载: 链接: https://pan.baidu.com/s/12rMp76_W1fLvOwW9_hvfGg 提取码: u3v5 使用Flume的关键就是写配置文件 1)配置Source 2)配置Channel 3)配置Sinks 4)将以上三种组件串联起来 安装flume 解压flumne压缩包到指定目录内 进入到flumne的conf目录下 复制flume-env.sh.template --> flume-env.sh 修改flume-env.sh文件: export JAVA_H原创 2020-12-02 20:01:34 · 1447 阅读 · 0 评论 -
flume数据采集拦截器实例(编写Java代码实现拦截器方法)
Flume拦截器实例Java代码实现功能flume脚本flume路径下执行命令监控界面hdfs 查看数据收集情况 现在需要监听netcat方式输入的文本内容 要求:将含有kb07 和 kb09的字符的内容放在hdfs上的各自命名的文件夹下 文字内容: aaaaaaakb09bbbbbbbbbbbbbbbbbbb bbbbbbbbbkb07cccccccccccccccc ccccccccckb09cddddddddddddddddd aaaaaaakb09ddddddddddddddd bbbbbbbbbk原创 2020-12-01 20:08:36 · 922 阅读 · 0 评论 -
flume监控采集数据导入到kafka中topic进行消费
flume监控采集到的数据到kafka中topic进行消费1.创建kafka的topic2.创建并编辑flume脚本3.执行flume脚本4.复制数据到被flume监控的路径5.查看队列分区信息5.1查看队列信息数6.消费消息7.删除topic 1.创建kafka的topic kafka-topics.sh --create --zookeeper 192.168.116.60:2181 --topic user_friends_raw --partitions 1 --replication-facto原创 2020-12-08 20:11:56 · 2173 阅读 · 0 评论