spark1.2源码编译

为什么要编译源码呢？要搞hive on spark。。。

1.CHD不好用，缺jar包啊

2.hive1.1的 pom文件写了只支持spark1.2

3.Apache版本的部署包有-Phive编译，不能用

简单粗暴的说

下载源码包开始编译：

1.使用这个命令：

mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package

官网只支持参数hadoop版本到2.4，想编译其他版本 改pom文件，加进去就好了

编译完之后是是没有部署包的，要做的就是把./assembly/target/scala-2.11中的spark-assembly-1.2.0-hadoop2.4.0.jar包 替换到 之前解压的Apache版本的lib目录下

2.上步做完还是不能用。。。报错。。呵呵

3.恩。。在编译完的目录内再使用这个命令编译一遍

./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"

4.编译完之后的目录下会有个tar包，拿出来重新解压

5.

./bin/spark-submit --classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclientlib/spark-examples-

测试成功了，服务也开启了。。。。

接下来hive on spark 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

附个我自己编译完的包~

链接: https://pan.baidu.com/s/1qXH0Eh2 密码: 7x2h