Steamsets安装教程

        本教程以Streamsets3.8.0为例子进行安装

Streamsets安装包介绍

Streamsets官网下载地址: https://streamsets.com/opensource

        从图片中可以看出，Streamsets提供了多种安装途径，每个人可以根据自己的实际情况选择合适的安装方式。个人推荐core tarball和full tarball这两种安装方式，它们都是Streamsets压缩包，下载好以后只需上传到服务器中解压即可使用，这两者的区别在于core tarball只拥有streamsets核心内容，所以下载文件较小（约350m），而full tarball则是把所有streamsets核心安装包和额外的插件安装包全部打包，所以下载文件较大（4.82g）,建议下载full tarball安装包，虽然安装包较大但是可以在下载成功后解压安装包，然后把一部分不需要的插件安装包删除后重新打包即可上传至服务器中使用，而core tarball在线下载插件安装包则下载速度较慢，无法管理下载状况，而且还经常会因服务器在国外容易出现下载失败的问题。
        Full tarball插件安装包路径是在${Streamsets}/streamsets-lib，该目录下每一个目录对应一个插件安装包，可以根据名字大概判断插件安装包的作用,可以根据需求自行删除。

Streamsets安装步骤

1. Streamsets运行需要java1.8环境，此处就不详细介绍java的安装方式了

2. 从官网中下载Streamsets压缩包，上传到服务器中并解压；

3. 修改${Streamsets}/bin/streamsets文件权限

   chmod 777 ${Streamsets}/bin/streamsets
   

4. 修改${Streansets}/libexec 目录下文件权限

     chmod 777 ${Streansets}/libexec/_*
     chmod 777 ${Streansets}/libexec/sdc*
   

5. 修改${Streamsets}/libexec/sdc-env.sh内容

   export SDC_DATA=/var/lib/sdc    //Streamsets运行时的一些必须详信息存放目录
   export SDC_DATA=/var/lib/sdc   //Streamsets运行时日志存放目录
   export SDC_FILE_LIMIT="${SDC_FILE_LIMIT:-20480}"  //Streamsets程序最大文件打开数量限制，如果有相关报错可以调小这个参数或者以root用户调大机器最大文件打开数量限制
   export SDC_JAVA_OPTS="-Xmx12288m -Xms12288m -server -XX:-OmitStackTraceInFastThrow ${SDC_JAVA_OPTS}"  //Streamsets运行配置信息
   

6. 修改${Streamsets}/etc/sdc.properties内容

    http.port=18630  //Streamsets web访问端口
    production.maxBatchSize=1000  //Streamsets 每一批次处理数据最大数量，可以把该参数调大后后续在Pipeline控制大小
    pipeline.max.runners.count=50  //Pieline最大数量，可以根据实际情况适当调大
   

7. 以上参数调整好以后通过命令行启动

   bin/streamsets dc
   

        见到该界面后说明Streamsets已启动成功，接下来默认以admin/admin用户登录即可开始使用。