准备工作 Linux运行STREAMSET必须要有jdk的支持,jdk安装可以参考(https://blog.csdn.net/zxb730916/article/details/80899429)这个博主把jdk安装配置讲的十分详细,十分感谢
第一步 下载STREAMSETS
STREAMSETS下载地址:https://streamsets.com/opensource/
我下载的是Data Collector的Full Tarball版本,写本文时为了省时间我用的以前下好的压缩包(约5GB),并没下载最新的版本
我使用WinSCP将压缩包传到阿里云服务器的root文件夹下,WinSCP的连接方参考(https://blog.csdn.net/jinxlzc/article/details/89459682)
进入到root目录然后输入如下命令解压压缩包
tar xvzf streamsets-datacollector-all-3.7.2.tgz
解压完毕后输入如下命令运行StreamSets
root/streamsets-datacollector-3.7.2/bin/streamsets dc
我在运行可执行文件的时候还报了java.net.UnknownHostException: XXXX Name or service not known最后参照这篇博客解决了(https://blog.csdn.net/u012965373/article/details/51781367)
此外很有可能报 open file limit 的问题,解决方法是在配置文件:/etc/security/limits.conf 中添加如下内容后重启即可
* soft nofile 102400
* hard nofile 102400
启动成功后返回阿里云控制台开放端口号18630
然后输入 地址:18630 就可以成功访问了,默认的账户名密码都是admin
https://streamsets.com/documentation/datacollector/latest/help/index.html
上面的链接是StreamSets的官方用户指南,本文也只不过是用户指南的一次实现,由于StreamSets属于比较新,国内经验资源比较少的一种数据工具,我也是边摸索边使用的,欢迎大家与我交流经验,指正我的错误