一、安装准备
1、下载csd包
wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar
2、下载parcel包
wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1
wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/manifest.json
3、停止cdh server、agent
/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent stop
/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-server stop
4、拷贝spark包
#上传CSD包到机器的/opt/cloudera/csd目录,并且修改文件的用户和组。注意如果本目录下有其他的jar包,把删掉或者移到其他目录(所有节点)
mkdir /opt/cloudera/csd
#上传SPARK2_ON_YARN-2.3.0.cloudera2.jar
chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar
chmod 644 SPARK2_ON_YARN-2.3.0.cloudera2.jar
5、上传parcel包
#上传parcel包到机器的/opt/cloudera/parcel-repo目录下。注意,。如果有其他的安装包,不用删除 ,但是如果本目录下有其他的重名文件比如manifest.json文件,把它重命名备份掉。然后把那3个parcel包的文件放在这里。
cp SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel /opt/cloudera/parcel-repo/
cp SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1 /opt/cloudera/parcel-repo/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
cd /opt/cloudera/parcel-repo
mv manifest.json manifest.json.bb
cp manifest.json /opt/cloudera/parcel-repo
6、启动server、agent
/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-server start
/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start
二、CDH控制台安装
1、安装parcels
(1)主机–>parcels–>配置–>填写url–>检查新的parcel
(2)下载–>分配—>激活
2、添加服务
(1)点击集群按钮旁的添加服务
(2)选择spark2 –>继续
(3)选择依赖
(4)角色分配(Gateway所有主机都要安装)
(5)启动