streamset 数据合并_StreamSet的环境的初始化

最近也是想在StreamSets上去操作一个简单的demo，也是遇到一些小的问题。记录汇总一下，也算是重新温故一下。

环境：

CDH-5.13.3

StreamSets 3.3.1

demo主要是基于网上一篇介绍如何增量同步mysql的数据到hive库中。

上面大概就是整个过程的工作流。

问题汇总：

1:连接mysql 的时候因为没有mysql的jdbc连接包，因此需要手动上传jdbc连接包。操作如下：

本以为会很正常上传jdbc的包，结果出现了一个在StreamSets下无法创建lib的错误信息(具体信息没有截图),查看官网的操作才知道，解决办法如下：

官网地址：https://streamsets.com/documentation/datacollector/latest/help/index.html#datacollector/UserGuide/Configuration/ExternalLibs.htm

1:在安装streamSets的目录下创建sdc-extras

mkdir /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras

2:对目录进行授权给sdc用户

chown -R sdc:sdc  /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras

3:配置相关环境配置，可以只在cm中进行操作。

3.1:修改export STREAMSETS_LIBRARIES_EXTRA_DIR="/……/sdc-extras/"

3.2:修改sdc-security.policy(测试的时候没添加也成功过，建议还是添加一下。毕竟也很简单一点)

grant codebase "file:///opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras/-" {  permission java.security.AllPermission;};

4:执行完后，上传jar包。(测试的时候突然重启了一下，master节点启动不了，后来停止了整个服务重启了streamsets这个组件就好了)

5:执行整个流程。