关闭

Spark1.x编译(二)

105人阅读 评论(0) 收藏 举报
分类:

5.Spark1.x编译

5.1.Spark1.x编译方式

Maven

SBT

打包编译make-distribution.sh

5.2.Maven编译

1.安装JDK

2.安装Maven3.0.4或以上

3.安装Scala

4.下载Spark源码包

 1.上传

 2.解压spark源码包

 3. 设置Maven的内存使用

  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

4.1.mvn编译

  mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

4.2. make-distribution.sh编译

./make-distribution.sh --tgz -Pyarn-Phadoop-2.4 -Dhadoop.version=2.4.0-Phive -Phive-thriftserver

如果编译失败

配置镜像

<mirror>

   <id>nexus-osc</id>

   <mirrorOf>*</mirrorOf>

   <name>Nexus osc</name>

   <url>http://maven.oschina.net/content/groups/public/</url>

</mirror>

把以上的配置添加在setting.xmlmirrors

cd.m2/

vim  settings.xml

配置域名解析服务器

#vim/etc/resolv.conf

内容:

nameserver  8.8.8.8

nameserver  8.8.4.4

如果编译慢的修改make-distribution.sh下面这些信息全部注释


VERSION=spark编译的版本

SPARK_HADOOP_VERSION=hadoop编译的版本

SPARK_HIVE=1(1编译 0不编译)
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1607次
    • 积分:121
    • 等级:
    • 排名:千里之外
    • 原创:11篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档