streamsets安装部署（core）、数据同步

一.安装部署

下载

https://streamsets.com/products/dataops-platform/data-collector/download/

wget --no-check-certificate https://archives.streamsets.com/datacollector/3.17.0/tarball/streamsets-datacollector-core-3.17.0.tgz

解压

解压到你想要的路径下：

 

安装curl

(为安装驱动做准备)

curl安装

https://www.cnblogs.com/weifeng1463/p/10740251.html

配置环境参数

[maxiu@zhumei00 ~]$ sudo vi /etc/security/limits.conf

添加下述内容（maxiu为用户名）,该步骤需要重启

1. root hard nofile 32768

2. root soft nofile 32768

重启虚拟机 

关闭防火墙

systemctl stop firewalld.service

启动

bin/streamsets dc

 

 

二.Mysql表同步

JDBC驱动安装

问题：这一步，jdbc可能暂时不显示数据，可能因为网速原因，

解决：curl https://streamsets.com/products/dataops-platform/data-collector/download/

如果有数据，刷新页面jdbc会显示数据

安装后重启

上传mysql-connector-java-8.0.11.jar

之后的jdbc控件，就能做配置了

记得要用谷歌浏览器！！！！！