Spark1.x编译(二)

原创 2015年11月21日 11:34:02

5.Spark1.x编译

5.1.Spark1.x编译方式

Maven

SBT

打包编译make-distribution.sh

5.2.Maven编译

1.安装JDK

2.安装Maven3.0.4或以上

3.安装Scala

4.下载Spark源码包

 1.上传

 2.解压spark源码包

 3. 设置Maven的内存使用

  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

4.1.mvn编译

  mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

4.2. make-distribution.sh编译

./make-distribution.sh --tgz -Pyarn-Phadoop-2.4 -Dhadoop.version=2.4.0-Phive -Phive-thriftserver

如果编译失败

配置镜像

<mirror>

   <id>nexus-osc</id>

   <mirrorOf>*</mirrorOf>

   <name>Nexus osc</name>

   <url>http://maven.oschina.net/content/groups/public/</url>

</mirror>

把以上的配置添加在setting.xmlmirrors

cd.m2/

vim  settings.xml

配置域名解析服务器

#vim/etc/resolv.conf

内容:

nameserver  8.8.8.8

nameserver  8.8.4.4

如果编译慢的修改make-distribution.sh下面这些信息全部注释


VERSION=spark编译的版本

SPARK_HADOOP_VERSION=hadoop编译的版本

SPARK_HIVE=1(1编译 0不编译)

Spark1.x编译与安装

1.    Spark1.x编译与安装 1.1.   基础准备 见《1、基础准备(JDK、Maven、服务器配置)》。 1.2.   Hadoop集群准备 见《2、Hadoop2.2.0 编译与安装》...
  • sunbow0
  • sunbow0
  • 2014年12月16日 16:34
  • 1914

编译原理实验二分析

对于 编译原理实验二 实验二主要分析实验一中的得到的多元式是进行计算器的语义分析 需要从实验1中获取分析成功的多元(种别码,字符串原貌,Value属性,Type属性)式序列 根据多元式中的Type属性...
  • ruihaol
  • ruihaol
  • 2017年01月18日 14:47
  • 614

Spark1.X视频教程完整版下载

课程下载地址:链接: http://pan.baidu.com/s/1kTggcb9 密码: 9mfn 网盘失效的话,请加QQ:3113533060 课程内容: 第一...
  • spark1x
  • spark1x
  • 2014年12月23日 10:43
  • 340

Spark1.x RDD基本操作

1.   Spark1.x RDD基本操作   Spark官方文档: http://spark.apache.org/docs/latest/programming-guide.html#rdd-op...
  • sunbow0
  • sunbow0
  • 2014年12月16日 16:34
  • 1642

编译原理及实践教材TINY编译器代码解析

编译原理及实践教材附带了TINY编译器,在这里对这个小型编译器的代码,做一下简单的解析.    TINY编译器的词法分析Lex源程序是: %{ #include "globals...
  • zt_706
  • zt_706
  • 2013年08月07日 22:55
  • 745

编译原理实验二:语义分析

编译原理实验二:语义分析
  • lijunfan1994
  • lijunfan1994
  • 2016年06月24日 23:18
  • 2127

zynq-7000学习笔记(二)——编译uboot

PC平台:ubuntu 14.04 Xilinx设计开发套件:Xilinx_vivado_sdk_2016.2 1、下载u-boot源代码 https://github.com/Xilinx/u-...
  • luotong86
  • luotong86
  • 2016年08月11日 18:50
  • 4021

将代码从 spark 1.x 移植到 spark 2.x

将代码从 spark 1.x 移植到 spark 2.x1. SparkSessionsparkSession可以视为sqlContext和hiveContext以及StreamingContext的...
  • lsshlsw
  • lsshlsw
  • 2016年09月09日 17:46
  • 2989

编译原理之文法二

转自: (4)语言也是逐渐完善的,需要补充新的结构并完成新增的任务。如果存在以文法为 基础的语言的实现,这些新结构的加入就更方便。   详细参加:http://zhidao.baidu.c...
  • hy2011034628
  • hy2011034628
  • 2014年04月22日 12:58
  • 669

基于MATLAB的二值化图像常用的三种方法

图像分割是模式识别和计算机视觉中很重要的一个部分,基于阈值的图像分割具有简单、计算量小、效率高等特点,在实际图像处理中具有广泛的应用。经过国内外学者的广泛努力,已经提出了数以百计的阈值分割的算法,依据...
  • vicdd
  • vicdd
  • 2016年11月24日 21:44
  • 16649
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark1.x编译(二)
举报原因:
原因补充:

(最多只允许输入30个字)