Spark源码编译

2、在正式的生产环境中,为了能够使服务能够,在hadoop安装目录下编辑pom.xml文件,添加以下依赖

<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

 

2、在spark安装目录下执行以下安装脚本

./dev/make-distribution.sh \
--name  2.6.0-cdh5.7.0 \
--tgz \
-Pyarn   -Phadoop-2.6 \ 
-Phive   -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0

 

3、记得给spark安装目录授权

sudo chmod 777 -R  /spark

展开阅读全文

没有更多推荐了,返回首页