Streamsets（一）CDH-6.2.0集成Streamsets-3.13.0

1、下载安装包

根据操作系统版本下载所需安装包，需要一个parcel包、parcel文件对应的SHA文件，以及一个csd jar包

https://archives.streamsets.com/index.html

 

实际上最好是知道所想使用的streamsets是否可以很好的支持我们的CDH平台，可以从官网的

https://streamsets.com/documentation/datacollector/3.13.x/help/datacollector/UserGuide/Installation/AddtionalStageLibs.html

验证是否有对当前已经安装好的CDH平台版本的支持，我们当前是安装的CDH6.2.0平台，可以从表格中看到是SS3.13.0是可以支持的

2、部署安装包

直接参考官网教程

https://streamsets.com/documentation/datacollector/3.13.x/help/datacollector/UserGuide/Installation/CMInstall-Overview.html#task_hzt_dgn_25

将STREAMSETS-3.13.0.jar移到到/opt/cloudera/csd/目录下，并修改权限

sudo mv STREAMSETS-3.13.0.jar /opt/cloudera/csd/
sudo chown cloudera-scm:cloudera-scm /opt/cloudera/csd/STREAMSETS*.jar
sudo chmod 644 /opt/cloudera/csd/STREAMSETS*.jar

将SS的parcel和对应的sha文件放到/opt/cloudera/parcel-repo/，并修改权限

sudo mv STREAMSETS_DATACOLLECTOR-3.13.0-el7.parcel* /opt/cloudera/parcel-repo/
sudo sudo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/STREAMSETS_DATACOLLECTOR*

重启cloudera server服务

sudo systemctl restart cloudera-scm-server

3、分配激活

通过CM界面的parcel包管理界面直接将SS的parcel包进行分配并激活

 

4、安装组件

剩下的就是和之前一样的组件安装方式，通过CM界面选择SS组件进行安装即可

 

5、独立安装

独立安装的话直接下载full tar或者core tar，然后解压即可使用，JDK环境变量是一定要提前配置好的，这里也贴上官网链接，注意查看的文档是不是自己所选择的SS版本

https://streamsets.com/documentation/datacollector/3.13.x/help/datacollector/UserGuide/Installation/Install_title.html