生产环境下 Spark1.3.1 源码编译 thrift功能 及碰到的问题

在此不再赘述hadoop环境搭建默认是搭建好了（我这里用的版本是hadoop2.2+hive0.12，所以需要自己编译）

1、下载spark源码

git clone git://github.com/apache/spark.git -b branch-1.3

2、编译spark 

       1) 建议使用jdk1.7编译，不建议1.6

        export JAVA_HOME=/home/xxx/java1.7/jdk1.7

       2) 设置maven编译选项

##export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" ##（视情况而定）

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"

       3）编译

        mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -Phive -Phive-0.12.0 -Phive-thriftserver -DskipTests clean package（推荐）

       这个命令会在 spark/assembly/target/scala-2.10下生成jar包

        或者

        ./make-distribution.sh --tgz -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -Phive -Phive-0.12.0 -Phive-thriftserver -DskipTests clean package

        会在spark目录下生成tgz的包。

其中，jar包的生成方式，需要自己建立lib目录。

tgz的方式，需要解压，生成的spark结构简洁，没有和源码混合在一起，便于使用。

之前，我很困惑的就是源码生成jar包后，没有lib的目录，很奇怪，这里spark的官网也没有写明，浪费了不少时间，但是其实一般情况下都不用lib包的。

只是因为我在编译spark之前，已经看了一些文章若spark+hive（hive的元数据放在mysql）需要在lib中放入mysql的jar包，就因为这个，我郁闷了很久，mvn生成的包到底怎么用，现在我可以告诉你，直接在源码的目录下执行对应的指定就可以了

未完，待续。