![](https://img-blog.csdnimg.cn/20200318140239822.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
分享大数据学习相关内容,以及在工作中遇到的大数据问题
程序员X小鹿
前互联网大厂程序员/AIGC爱好者/自由职业2年+
展开
-
Flume(三)—— Flume案例
文章目录1. 案例一:监控端口数据2. 案例二:监测(实时读取)本地文件到HDFS3. 案例三:实时读取目录文件到HDFS4. 案例四:扇出5. 案例五:扇入6. 案例六:Flume拦截器6.1 时间拦截器6.2 主机名拦截器6.3 UUID拦截器6.4 查询替换拦截器6.5 正则过滤拦截器6.6 正则抽取拦截器6.7 自定义拦截器7. 案例七:Flume对接Kafka8. 案例八:Kafka对接...原创 2020-03-11 17:52:41 · 709 阅读 · 0 评论 -
Flume(二)—— Flume安装部署
下载Flume安装包到本地,然后上传至服务器/usr/local。 在XShell中使用rz上传,sz下载。如果没有rz,sz命令,通过 yum install lrzsz安装。 解压到当前目录并重命名,删除安装包。 # 解压到当前目录 tar -zxvf apache-flume-1.9.0-bin.tar.gz # 解压后删除安装包 rm -rf apache-flume-1.9.0...原创 2020-03-11 17:03:14 · 216 阅读 · 0 评论 -
Flume(一)—— Flume介绍
文章目录1. Flume简介2. Flume角色3. Flume传输过程4. 扇入扇出5. Source、Channel、Sink的类型总结 1. Flume简介 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务。 Flume基于流式架构,容错性强,也很灵活简单。 Flume、Kafka用来实时进行数据收集,Spark、Flink用来实时处理数据,impala用...原创 2020-03-11 17:00:32 · 156 阅读 · 0 评论