Spark编译

原创 2018年04月15日 12:07:32
1.环境
CentOS6.4
hadoop 主机名
app 存放安装软件目录
software存放软件包tar
data 存放我们的测试数据
lib 存放我们自己的jar
source 存放源码
2.官网下载spark源码
[root@hadoop ~]# wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0.tgz
3.解压 tar -zxvf 所有的文件(Java maven scala) cp到app文件夹中 配置环境变量
4.看官网 http://spark.apache.org/docs/latest/building-spark.html
5.分析前置要求需求
apache-maven-3.3.9-bin.tar.gz
jdk-8u45-linux-x64.gz
Scala-2.11.8.tgz
hadoop-2.6.0-cdh5,7,0.tar.gz
6.maven内存调大
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
7.开发适合用:./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package
8.打成tar包的方式./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn
9.修改make-distribution.sh文件,用脚本更快
shell输入 “/VERSION” 指令搜索到指定位置VERSION,注释掉这一段 追加
VERSION=2.2.0
SCALA_VERSION=2.11
SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0
SPARK_HIVE=1
10.从中心仓库下载
shell输入 “/repositories” 指令搜索到指定位置 追加到spark的pom.xml文件后面
<repository>
<id>cloudera<id>
<name>cloudera Repository</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

使用适配器模式设计RMI方式的网络应用程序

 使用适配器模式设计RMI方式的网络应用程序为网络应用编写本地Java对象指南 简介:    使用Java的RMI方式编写基于网络的应用程序是非常简单的。然而,使用不是基于网络的类,而且还把它复杂化来...
  • wearebug
  • wearebug
  • 2002-04-01 09:31:00
  • 1119

学习spark之spark编译部署

按照前面两篇博文《学习spark之基础环境搭建》《学习spark之hadoop编译部署》终于把spark的前置所需环境配置好了,接下来终于可以开始编译部署spark了。由于spark官网pre-bui...
  • wangshiliang1990
  • wangshiliang1990
  • 2016-07-05 15:26:06
  • 1482

spark编译教程—maven

spark编译教程—maven  编译环境准备  几种常见的编译方式  编译问题总结  常见编译参数...
  • yanran1991326
  • yanran1991326
  • 2015-06-15 18:41:55
  • 5239

Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装

Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具,而Maven安装则需要maven工具,两种方式均需要在...
  • yirenboy
  • yirenboy
  • 2015-08-12 23:13:30
  • 3078

修改spark源码并编译部署

主要讲如何编译spark源码
  • FishSeeker
  • FishSeeker
  • 2017-04-03 10:03:57
  • 2501

Spark大师之路:使用maven编译Spark

系统环境: maven版本
  • doggie_wangtao
  • doggie_wangtao
  • 2014-04-10 00:00:47
  • 7993

Spark-2.x 编译构建及配置安装

Spark-2.x 编译构建及配置安装 0. Spark-2.x 编译环境准备 编译服务器:ip 编译目录:/data10/spark/ 1. Spark-2.x编译 a. note:...
  • ChaosJ
  • ChaosJ
  • 2016-10-24 14:08:36
  • 3213

spark编译及运行常见错误

### spark  下载      http://spark.apache.org/downloads.html ### 前提准备     # 安装 JDK,mvn 和 scale,并设置对应的...
  • zyj8170
  • zyj8170
  • 2015-03-27 15:49:42
  • 1689

Spark-基础-Spark编译与部署--Spark编译安装

1、编译Spark(1.1版本) Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具,而Maven安装则...
  • youdianjinjin
  • youdianjinjin
  • 2016-05-24 11:48:27
  • 2937

编译spark源码步骤

为了阅读spark的源码,我们需要对它先进行编译,从而使Intelij能够跳转,从而方便阅读。 1,先下载spark压缩包 2,解压 3,通过观察,我们发现可以使用mav...
  • linhao19891124
  • linhao19891124
  • 2016-11-07 22:48:22
  • 693
收藏助手
不良信息举报
您举报文章:Spark编译
举报原因:
原因补充:

(最多只允许输入30个字)