一、安装部署
1.1. jar包下载:
https://archives.streamsets.com/datacollector/3.7.2/tarball/streamsets-datacollector-core-3.7.2.tgz
[maxiu@zhumei00 softwares]$ wget --no-check-certificate https://archives.streamsets.com/datacollector/3.7.2/tarball/streamsets-datacollector-core-3.7.2.tgz
1.2.解压
解压到你想要的路径下:
[maxiu@zhumei00 softwares]$ tar -zxvf streamsets-datacollector-core-3.7.2.tgz -C ../modules/
1.3.配置环境参数
[maxiu@zhumei00 ~]$ sudo vi /etc/security/limits.conf
添加下述内容(maxiu为用户名),该步骤需要重启
maxiu hard nofile 32768
maxiu soft nofile 32768
此时配置已经完成,只具备基础的少量origin和destination。
1.4.启动:
maxiu@zhumei00 streamsets-datacollector-3.7.2]$ pwd
/opt/modules/streamsets-datacollector-3.7.2
[maxiu@zhumei00 streamsets-datacollector-3.7.2]$ bin/streamsets dc
Java 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTS
Logging initialized @3087ms to org.eclipse.jetty.util.log.Slf4jLog
Running on URI : 'http://zhumei00:18630'
1.5.查看交互页面
用户名和密码都是admin
二、Mysql表同步
核心包不包含JDBC依赖,需要自己安装。
2.1 JDBC驱动安装
1) 创建外部依赖包目录(官网建议在StreamSet目录外建文件夹,我这边为了方便管理,建在StreamSet根目录下)。
[maxiu@zhumei00 streamsets-datacollector-3.7.2]$ pwd
/opt/modules/streamsets-datacollector-3.7.2
[maxiu@zhumei00 streamsets-datacollector-3.7.2]$ mkdir sdc-extras
2)配置参数
sudo vi /etc/profile 添加下面那句
echo export STREAMSETS_LIBRARIES_EXTRA_DIR="/opt/modules/streamsets-datacollector-3.7.2/sdc-extras/" >> /etc/profile
[maxiu@zhumei00 streamsets-datacollector-3.7.2]$ pwd
/opt/modules/streamsets-datacollector-3.7.2
[maxiu@zhumei00 streamsets-datacollector-3.7.2]$ vi etc/sdc-security.policy
修改下面的参数地址为自己的外部包地址
// For JARs to be available to all stage libraries
grant codebase "file:///opt/modules/streamsets-datacollector-3.7.2/sdc-extras/-" {
permission java.security.AllPermission;
};
重启。
3)安装JDBC.
4)配置数据源