Spark1.x编译（二）

5.Spark1.x编译

5.1.Spark1.x编译方式：

Maven

SBT

打包编译make-distribution.sh

5.2.Maven编译

1.安装JDK

2.安装Maven3.0.4或以上

3.安装Scala

4.下载Spark源码包

 1.上传

 2.解压spark源码包

 3. 设置Maven的内存使用

  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

4.1.mvn编译

  mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

4.2. make-distribution.sh编译

./make-distribution.sh --tgz -Pyarn-Phadoop-2.4 -Dhadoop.version=2.4.0-Phive -Phive-thriftserver

如果编译失败

配置镜像

<mirror>

   <id>nexus-osc</id>

   <mirrorOf>*</mirrorOf>

   <name>Nexus osc</name>

   <url>http://maven.oschina.net/content/groups/public/</url>

</mirror>

把以上的配置添加在setting.xml的mirrors

cd.m2/

vim  settings.xml

配置域名解析服务器

#vim/etc/resolv.conf

内容：

nameserver  8.8.8.8

nameserver  8.8.4.4

如果编译慢的修改make-distribution.sh下面这些信息全部注释

VERSION=spark编译的版本

SPARK_HADOOP_VERSION=hadoop编译的版本

SPARK_HIVE=1(1编译 0不编译)