1.安装前准备
到StreamSets官网提供的下载址:https://archives.streamsets.com/index.html
下载以下文件:这里下载使用的是 3.0版本
1.manifest.json 文件
2.STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel文件(比较大约4G左右,包含比较完整的插件)
3.STREAMSETS-3.0.0.0.jar
2: 启动httpd-server(没安装过百度一下)
rpm -qa|grep httpd 查看是否安装http
service httpd start 启动httpd
3: 配置本地Parcel包
将下载的manifest.json和 STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel,放在一个新建文件夹streamsets3.0中,并移动到/var/www/html 目录中,做离线包的下载地址,用浏览器访问如下,表示成功
4.配置CSD
4.1:将STREAMSETS-3.0.0.0.jar拷贝到/opt/cloudera/csd,并更改权限,然后重启cloudera-scm-server服务
cp STREAMSETS-3.0.0.0.jar /opt/cloudera/csd
sudo chown cloudera-scm:cloudera-scm STREAMSETS-3.0.0.0.jar && sudo chmod 644 STREAMSETS-3.0.0.0.jar
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server restart
5.下载分发激活Parcel包
点击主机---Parcel---(右上角的)配置(http://192.168.6.171/streamsets3.0/)
并下载--分发--激活(省略该步骤,直接查看激活后的状态)
6.添加StreamSets服务
注意:
如果你安装centos基本网页服务器所有的程序都安装了,这块应该不会报错。如果安装StreamSets之后,在cdh出现什么未知服务,那就重启cdh就可以了
1.发现是竟然是jdk7,我的系统安装的jdk8.通过rpm发现系统有一个openjdk.
rpm -qa|grep jdk
rpm -e --nodeps java-1.7.0-openjdk
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
2.继续安装还会报错找不到java_home.
原因:由于CDH不会使用系统默认JAVA_HOME环境变量,而是使用Bigtop进行管理,故我们需要安装Bigtop的规则在指定的位置安装jdk。已经有的JAVA_HOME 链接到 /usr/java/jdk1.8 就好了!
find / -name cloudera-config.sh
mkdir -p /usr/java/jdk1.8
ln -s 源文件 目标文件
ln -s /opt/jdk/jdk1.8.0_201/* /usr/java/jdk1.8/