streamset安装配置

下载streamset 安装包

https://streamsets.com/

tar xvzf streamsets-datacollector-core-3.4.0.tgz
streamsets-datacollector-3.4.0/bin/streamset dc

出现的问题及解决方法

linux内核修改

（1）暂时性修改，只对当前终端有效

$ ulimit -HSn 65536
（2）将ulimit -HSn 65536 写到/etc/profile中，因为每次登录终端时，都会自动执行/etc/profile

（3）永久生效

修改配置文件：/etc/security/limits.conf ，在文件后添加如下内容，并重启

• soft nofile 65536
• hard nofile 65536

##简单的例子

mysql binlog开启

参见文章mysql 使用

相关资料

streamset例子