StreamSets数据操作平台（数据移动及数据清洗强大工具）-第一篇

1、支持多种安装方式

1.1、核心安装包（Core Tarball）

该安装包包含核心的SDC软件，使该软件具有最小的软件连接器集合，当然你可以手动下载额外的节点（Stage）

①通过Streamsets的UI进行安装，UI上点击的位置为：在该软件界面的右边（图标是一个礼物盒子。。。）。

②也可以通过使用CLI进行安装，安装过程如下所示：

1、下载该【核心安装包】，比如版本为：streamsets-datacollector-core-3.0.2.0.tgz

2、解压该安装包

$tar xvzf streamsets-datacollector-core-3.0.2.0.tgz

3、列出所有的可下载的所有节点Stage库，可通过如下命令：

$./bin/streamsets stagelibs -list

4、通过CLI安装所需要的节点库，通过如下命令：

$ ./bin/streamsets stagelibs -install=<stageid1>,<stageid2>

1.2、Cloudera安装包（Cloudera Parcel）

Cloudera版本安装过程如下所示：

1、将CSD拷贝到一个目录中，命令如下：

$ mv STREAMSETS-3.0.2.0.jar /opt/cloudera/csd/

2、修改文件的权限，命令如下：

$ sudo chown cloudera-scm:cloudera-scm STREAMSETS-3.0.2.0.jar && sudo chmod 644 STREAMSETS-3.0.2.0.jar

3、重启Cloudera管理器，命令如下：

$ sudo /etc/init.d/cloudera-scm-server restart

1.3、包含所有组件的完整安装包（Full Tarball）

完整版的安装过程如下所示：

1、下载该安装包

2、解压

$ tar xvzf streamsets-datacollector-all-3.0.2.0.tgz

3、解压之后，就可以直接启动，启动命令为：

$ streamsets-datacollector-3.0.2.0/bin/streamsets dc

4、启动之后就可以通过浏览器查看了，默认的访问地址为：

Browse to http://<system-ip>:18630/

5、UI界面看到之后，就可以通过该密码进行登录

用户名和密码都为：admin

1.4、完整的RPM包（FullRPM）

该版本的安装过程如下：

1、选择合适的操作系统版本（如红帽的el6或者el7），然后通过如下命令进行操作

$ tar xf streamsets-datacollector-3.0.2.0-[operating system]-all-rpms.tar

$ yum localinstall streamsets*.rpm

2、启动该软件在el6操作系统，操作命令为：

$ service sdc start

3、启动该软件在el7操作系统，操作命令为：

$ systemctl start sdc

4、启动之后就可以通过浏览器查看了，默认的访问地址为：

Browse to http://<system-ip>:18630/

5、UI