flume
这条gai最靓的华哥
热爱大数据的一名普普通通滴97年菜鸟猿~
展开
-
数据从flume---hdfs
数据通过flume上传到hdfs新建并编写 conf 文件在flume-conf下面创建目录job编写.conf文件建相应的目标文件夹启动flume-agent然后进入 hdfs 查看产生的文件(或者命令窗口查看)后面的文件跟上面的步骤一样。 新建并编写 conf 文件 在flume-conf下面创建目录job [root@cjh1 conf]# mkdir job [root@cjh1 conf]# cd job 编写.conf文件 [root@cjh1 job]# touch event_attend原创 2020-06-09 23:15:16 · 172 阅读 · 0 评论 -
flume-自定义拦截器interceptor
一、先在idea里面创建好自定义拦截器函数 1、配置pom.xml <!--flume核心组件--> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.6.0</version> </dependency>原创 2020-05-23 21:08:46 · 372 阅读 · 0 评论 -
flume过滤器(regex_正则过滤器)
1、新建需要进行regex过滤的文件 在flume安装目录下的conf下面新建job 然后在job下面新建文件 [root@cjh1 job]# touch users-flume-rmhdhdfs.conf 进入编辑创建的文件 [root@cjh1 job]# vi ./users-flume-rmhdhdfs.conf users.sources=usersSource users.channels=usersChannel users.sinks=usersSink users.sources原创 2020-05-21 23:16:18 · 702 阅读 · 0 评论