spark编译过程与实现

基本配置
配置jdk、scala 、maven




修改
make –distribution.sh 中的
#VERSION=$("$MVN" help:evaluate -Dexpression=project.version 2>/dev/null | grep -v "INFO" | tail -n 1)
#SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version $@ 2>/dev/null\
#    | grep -v "INFO"\
#    | tail -n 1)
#SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive $@ 2>/dev/null\
#    | grep -v "INFO"\
#    | fgrep --count "<id>hive</id>";\
#    # Reset exit status to 0, otherwise the script stops here if the last grep finds nothing\
#    # because we use "set -o pipefail"
#    echo -n)


以上内容注释掉（可以加快编译）
增加以下内容
VERSON=1.3.0  --spark的版本可以修改
SPARK_HADOOP_VERSION=2.6.0-cdh5.4.0  --基于hadoop的版本
SPARK_HIVE=1   --hive 的版本。


执行命令 （根据个人情况填写参数）
make-distribution.sh --tgz  -Pyarn -Phadoop-2.4 -Dhadoop.verson=2.6.0-cdh5.4.0 -Phive-0.13.1 -Phive-thriftserver