flume-ng自定义插件部署

最新推荐文章于 2021-01-09 01:08:56 发布

weixin_34293902

最新推荐文章于 2021-01-09 01:08:56 发布

阅读量177

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/u/2000675/blog/607423

版权

2019独角兽企业重金招聘Python工程师标准>>>

插件写好之后打包上传，将开发的jar包加入到flume中
方法一 :
进入vi /etc/profile 在文件中加入 exportFLUME_CLASSPATH = XXX/XX/XXX.jar
在CALSSPATH 的尾部加入:$FLUME_CLASSPATH , 然后保存退出后，在命令行执行sh/etc/profile ，通过在命令行输入 flumeclasspath 查看插件jar包是否在其中，在其中表示配置完成（注：开发插件时引入的jar包必须都能够在flume classpath下找到，如果找不到的话像加入插件包的方式加入）

方法二:
简单的方法是将开发的jar包和需要引入的jar包直接复制到/usr/lib/flume/lib
修改flume-site.xml文件如下所示：
<property>
<name>flume.plugin.classes</name>
<value>插件类得全路径名（如：hello.HelloWorldSink） </value>
<description>Comma separated list of plugin classes</description>
</property>

将flume-site.xml文件放到master 和collector的/etc/flume/conf 下
启动集群配置即可

转载于:https://my.oschina.net/u/2000675/blog/607423