2、在正式的生产环境中,为了能够使服务能够,在hadoop安装目录下编辑pom.xml文件,添加以下依赖
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
2、在spark安装目录下执行以下安装脚本
./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Pyarn -Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0
3、记得给spark安装目录授权
sudo chmod 777 -R /spark