![](https://img-blog.csdnimg.cn/20200624085853547.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
Flume技术
吴香香
忠于你热爱的一切
展开
-
用 hadoop + flume + sqoop + mysql + hive 搭建的项目 ??? 记录一下流程
我之前hadoop的环境都配好了今天主要配置其他几种第一步是flume的环境,这个直接解压压缩包,编辑一个conf文件主要的功能,是监听一个目录,当此目录有数据或者文件发生变化时候,就记录然后通过sink发送到另外一台虚拟机的hdfs这样我另外一台虚拟机的hdfs上面就有数据了第二步是hive的环境,这个也是直接解压,进入bin目录就能启动当我在另外一个...原创 2019-08-19 17:37:00 · 205 阅读 · 0 评论 -
Flume 的intercept 拦截器 ????
1.概述Flume有能力在运行阶段修改/删除Event,这是通过拦截器(Interceptors)来实现的。拦截器需要实现org.apache.flume.interceptor.Interceptor接口。拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。拦截器采用了责任链模式,多个拦截器可以按指定顺序拦截。一个拦截器返回的事件列表被传递给链中的下一个拦截...原创 2019-08-30 10:26:00 · 98 阅读 · 0 评论 -
收集日志 ----> Flume的日志服务器 ---> Flume的中心服务器 ---> 将数据存到HDFS
遇到的问题:书写问题,一定要写仔细了hadoop集群的名称,flume服务器上一定要有hadoop环境变量,没有的话,要将hadoop目录下的所有配置文件 拷贝到flume的conf目录下最后遇到的问题是,Unable to load native-hadoop library for your platform... using builtin-java classes...原创 2019-08-31 12:15:00 · 169 阅读 · 0 评论