Cloudera Manager部署StreamSets

参考：https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Installation/CMInstall-Overview.html#concept_nb5_c3m_25

通过Cloudera Manager部署StreamSets。

环境：

服务	版本
操作系统	CentOS7.8
Cloudera Manager	6.3.1
CDH	6.3.2
StreamSets	3.16.1

部署步骤：

1、安装StreamSets Custom Service Descriptor(CSD)。

2、手动安装parcel和校验文件。

3、分发和激活StreamSets Parcel。

4、配置StreamSets服务。

下面将安装步骤进行详细说明。

安装StreamSets CSD

1、下载CSD

export VERSION="3.16.1"
wget https://archives.streamsets.com/datacollector/$VERSION/csd/STREAMSETS-$VERSION.jar

2、复制CSD文件到Local Descriptor Repository Path，默认是 */opt/cloudera/csd *。

3、设置文件用户和权限

chown cloudera-scm:cloudera-scm /opt/cloudera/csd/STREAMSETS*.jar
chmod 644 /opt/cloudera/csd/STREAMSETS*.jar

4、重启Cloudera Manager，命令：

systemctl restart cloudera-scm-server

5、导航到Cloudera Manager的Home页，重启 Cloudera Management Service。

手动安装parcel和校验文件

1、下载文件

export VERSION="3.16.1"
wget https://archives.streamsets.com/datacollector/$VERSION/parcel/activation/STREAMSETS_DATACOLLECTOR-$VERSION-el7.parcel
wget https://archives.streamsets.com/datacollector/$VERSION/parcel/activation/STREAMSETS_DATACOLLECTOR-$VERSION-el7.parcel.sha

2、复制CSD文件到Cloudera Manager Local Parcel Repository Path，默认是 */opt/cloudera/parcel-repo *。

3、设置文件用户

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/STREAMSETS_DATACOLLECTOR*

分发和激活StreamSets Parcel

1、导航到Parcel页

2、分发

等待分发完成。

3、激活

等待激活完成。

配置StreamSets服务

安装StreamSets服务

添加服务中已经可以看到StreamSets了，按照Cloudera Manager添加服务的步骤进行添加即可。

添加完成后，可以在集群服务列表看到。

(可选)启用Kerberos Client

1、StreamSets启用Kerberos Client

保存配置
2、生成丢失的凭据
管理 -> 安全 -> Kerberos凭据 -> 生成丢失的凭据


3、重启StreamSets服务

配置用户认证

配置file-based认证

使用默认的form-realm方式。
在Cloudera Manager中，编辑StreamSets服务的配置：datacollector.users
格式：

<user>: MD5:<password>[,user,<role>,<role>,...,<group:group1>,<group:group2>,....]

示例：

admin:   MD5:0192023a7bbd73250516f069df18b500,user,admin
xingweidong:   MD5:5991e036478a4113ae930cb0910160bf,user,manager,creator,group:dev

配置LDAP认证

连接FreeIPA的LDAP服务失败，以后有时间再研究。