Spark1.x编译(二)

原创 2015年11月21日 11:34:02

5.Spark1.x编译

5.1.Spark1.x编译方式

Maven

SBT

打包编译make-distribution.sh

5.2.Maven编译

1.安装JDK

2.安装Maven3.0.4或以上

3.安装Scala

4.下载Spark源码包

 1.上传

 2.解压spark源码包

 3. 设置Maven的内存使用

  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

4.1.mvn编译

  mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

4.2. make-distribution.sh编译

./make-distribution.sh --tgz -Pyarn-Phadoop-2.4 -Dhadoop.version=2.4.0-Phive -Phive-thriftserver

如果编译失败

配置镜像

<mirror>

   <id>nexus-osc</id>

   <mirrorOf>*</mirrorOf>

   <name>Nexus osc</name>

   <url>http://maven.oschina.net/content/groups/public/</url>

</mirror>

把以上的配置添加在setting.xmlmirrors

cd.m2/

vim  settings.xml

配置域名解析服务器

#vim/etc/resolv.conf

内容:

nameserver  8.8.8.8

nameserver  8.8.4.4

如果编译慢的修改make-distribution.sh下面这些信息全部注释


VERSION=spark编译的版本

SPARK_HADOOP_VERSION=hadoop编译的版本

SPARK_HIVE=1(1编译 0不编译)

相关文章推荐

Spark1.x编译与安装

1.    Spark1.x编译与安装 1.1.   基础准备 见《1、基础准备(JDK、Maven、服务器配置)》。 1.2.   Hadoop集群准备 见《2、Hadoop2.2.0 编译与安装》...
  • sunbow0
  • sunbow0
  • 2014年12月16日 16:34
  • 1877

Spark2.x---1. RDD源码解析

Spark2.x---RDD源码解析

Spark1.x RDD基本操作

1.   Spark1.x RDD基本操作   Spark官方文档: http://spark.apache.org/docs/latest/programming-guide.html#rdd-op...
  • sunbow0
  • sunbow0
  • 2014年12月16日 16:34
  • 1603

spark1.x-streaming

整体架构运行原理源码结构dstream kafka

Spark1.X视频教程完整版下载

课程下载地址:链接: http://pan.baidu.com/s/1kTggcb9 密码: 9mfn 网盘失效的话,请加QQ:3113533060 课程内容: 第一...
  • spark1x
  • spark1x
  • 2014年12月23日 10:43
  • 278

Spark2.x 快速入门教程 1

Spark2.x 课程介绍 一、实验介绍 1.1 实验内容 Spark 是 Apache 高级项目里面较火的大数据处理的计算引擎,对比 Spark 1.x 版本,Spark 2.x ...

Spark 1.X 大数据平台

RDD执行transformation和执行action的区别是什么?  1、transformation是得到一个新的RDD,方式很多,比如从数据源生成一个新的RDD,从RDD生成一个新的RDD  ...

spark1.x-性能优化策略

1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化 / Checkpoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高并行度7、广播共享数据8、数据本地化9...

spark1.x-rdd api (大全)

RDD提供了两种类型的操作:transformation和action transformation是得到一个新的RDD,方式很多,比如从数据源生成一个新的RDD,从RDD生成一个新的RDD ...

spark1.x-sql-架构原理

整体架构 详解源码结构catalyst sql hive hive-thriftserver
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark1.x编译(二)
举报原因:
原因补充:

(最多只允许输入30个字)