大数据最火的平台------> streamsets

一 、环境搭建

1.环境准备 

  maven 3.23+  ------> 下载地址 http://maven.apache.org/download.cgi

  jdk 1.8.x   ------> 下载地址  http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  Node   ------> 下载地址 https://nodejs.org/en/download/

  Git  ------> 下载地址  https://git-for-windows.github.io/

  streamsets代码  

   下载地址  https://streamsets.com/   或者 https://github.com/streamsets/datacollector

注意：datacollector 和 datacollector Api 都要下载

2.安装软件（以上环境安装完成后）

  进入Node中

  1. install npm 

  2. npm -g install bower 

  3. npm -g install grunt-cli

  

3.打包操作

  mvn clean install -DskipTests

 

  mvn package -Pdist,ui -DskipTests

二 、部署streamsets

1.将打好的包（dist/target目录下）压缩成.zip，并上传到虚拟机中，datacollector\dist\target\streamsets-datacollector-2.0.0.0

2.在虚拟机上解压streamsets

     unzip streamsets.zip

3.进入到streamsets根目录下，启动项目

    bin/streamsets dc 

注意：

  异常1：

    ../bin/streamsets :权限不够

  解决办法

   chmod +x bin/streamsets

 异常2：

    ../libexec/_sdc :权限不够

  解决办法

   chmod +x ../libexec/_sdc