Spark编译安装

最新推荐文章于 2023-10-23 22:32:47 发布
最新推荐文章于 2023-10-23 22:32:47 发布
阅读量347 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lc900730/article/details/78766511
版权

1.下载并安装maven
2.安装protubuf(需要解决依赖yum install -y gcc gcc-c++ make)
3.解压安装protobuf
tar zxvf protubuf-2.5.0.tar.gz -C /usr/local/src/
cd /usr/local/src/protobuf-2.5.0
./configure –prefix=/usr/local/protobuf
make && make install

4.编译其他安装
yum install -y cmake openssl-devel ncurses-devel zlib-devel
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo
lzo-devel lzop openssl openssl-devel
5.编译hadoop
tar zxvf hadoop-2.6.4-src.tar.gz -C /usr/local/src/
cd /usr/local/src/hadoop-2.6.4-src

mvn package -Pdist,native -DskipTests -Dtar

6.查看编译好的安装包
cd /usr/local/src/hadoop-2.6.4-src/hadoop-dist/target
然后
export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib/native”
6.查看可用的本地库
hadoop checknative -a

LC900730
关注
专栏目录
Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
yirenboy的专栏
08-12 3877
Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行，通过比较发现SBT编译速度较慢（原因有可能是1、时间不一样，SBT是白天编译，Maven是深夜进行的，获取依赖包速度不同 2、maven下载大文件是多线程进行，而SBT是单进程）
Spark-2.4.2编译安装
weixin_43829047的博客
04-13 353
这里写目录标题下载安装scala用到编译自然少不了Maven主角来了spark编译 下载 下载安装包：https://spark.apache.org/downloads.html 也可以linux: wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5.tgz 安装scala 版本：scala-2.1...
spark编译 && 安装
大怀特的博客
10-11 232
1预编译版本 ../spark-xx.xx.xx-bin-hadoopxx.xx.tgz tar xvzf xx.tgz mv xx /usr/soft配置环境变量 vi /etc/profile|evriment $SPARK_HOME PATH=$PATH:$SPARTK_HOME/bin spark-shell local[n] #n与服务器CPU的内核相同 －－master IP #主master ...
2.Spark编译与部署（下）--Spark编译安装.pdf
04-04
1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建.pdf 2.Spark编译与部署（下）--Spark编译安装.pdf 2.Spark编译与部署（中）--Hadoop编译安装.pdf 3.Spark编程模型（上）--概念及SparkShell实战.pdf 3.Spark编程模型（下）--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive（上）--Hive介绍及部署.pdf 5.Hive（下）--Hive实战.pdf 6.SparkSQL（上）--SparkSQL简介.pdf 6.SparkSQL（下）--Spark实战应用.pdf 6.SparkSQL（中）--深入了解运行计划及调优.pdf 7.SparkStreaming（上）--SparkStreaming原理介绍.pdf 7.SparkStreaming（下）--SparkStreaming实战.pdf 8.SparkMLlib（上）--机器学习及SparkMLlib简介.pdf 8.SparkMLlib（下）--SparkMLlib实战.pdf 9.SparkGraphX介绍及实例.pdf 10.分布式内存文件系统Tachyon介绍及安装部署.pdf
Spark-1.X编译构建及配置安装
weixin_30512785的博客
04-10 98
前提条件（环境要求） 　　jdk版本：1.7+ 　　scala版本：1.10.4+ 　　maven版本：3.3.3+ 本博客中使用的软件版本 　　spark版本：spark-1.6.1.tar.gz（源码）　　 　　jdk版本：jdk-8u151-linux-x64.tar.gz 　　maven版本：apache-maven-3.3.9.tar.gz 　　scala版本：scala...
Spark编译与部署（中）--Hadoop编译安装
07-11
### Spark编译与部署（中）--Hadoop编译安装 #### 1. 编译Hadoop 在本文档中，我们将详细介绍如何从源码编译Hadoop，并完成其安装配置过程。本教程适用于希望通过从源码编译来深入了解Hadoop内部机制的读者。 ###...
hive3.x编译spark3.x包
06-07
标题“hive3.x编译spark3.x包”表明我们要讨论的是关于如何在Hive 3.x版本上编译与之兼容的Spark 3.x版本的二进制包。这个过程通常涉及到以下步骤： 1. **环境准备**：首先确保你已经安装了Java开发环境（JDK），...
spark 编译安装
李思苇
11-17 366
spark 编译安装1、spark版本 apache CDH PDH 2、下载源码（git） 安装maven 3.3.3以上 wget http://mirrors.shuosc.org/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz 设置maven目录下conf/settings的mirror加快下载速度： <m
spark编译安装
岁月静好，做自己。
05-03 289
spark  中文网站： https://blog.csdn.net/u012185296/article/details/76855770https://blog.csdn.net/yu0_zhang0/article/details/79250172方法一：mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2...
ubuntu安装spark
weixin_34356310的博客
11-17 88
1.先得准备环境，需要JAVA环境，还有Python环境（默认会有）    JAVA下载JDK之后配置JAVA环境变量 　　　　 1 export JAVA_HOME=/opt/jdk1.8.0_45 2 3 export JRE_HOME=${JAVA_HOME}/jre 4 5 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}...
Spark源码编译安装
Peasmaster的博客
03-24 376
环境 apache-maven-3.3.9-bin.tar.gz scala-2.11.8.tgz jdk-8u91-linux-x64.tar.gz spark-2.2.0.tgz 编译 spark源码目录下的pom.xml vi pom.xml 添加如下内容： &lt;!--CDH仓库cloudera社区--&gt; &lt;repository&gt; &lt;...
Spark安装编译
weixin_39182877的博客
02-16 202
安装maven，java，hadoop，scala vi /etc/profile export MAVEN_HOME=/usr/local/apache-maven-3.3.9 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
实战2.Spark编译与部署（下）--Spark编译安装
Jason的专栏
09-11 326
1、编译Spark Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行，通过比较发现SBT编译速度较慢（原因有可能是1、时间不一样，SBT是白天编译，Maven是深夜进行的，获取依赖包速度不同 2、maven下载大文件是多线程进行，而SB
Spark基本介绍和编译安装
VictorHuang的专栏
05-14 416
Spark快如闪电的集群计算 是快速和通用的大规模数据处理技术【speed】 执行mr作业程序在内存比hadoop快100倍，磁盘上快10倍 spark有着DAG（有向无环图）执行引擎，支持离散数据流和内存计算【易于使用】 多种语言编写 Java scala python R【Generality】 合成SQL，流计算，复杂分析spark有自己的集群计算技术，扩展了hadoop mr模型
Spark源码安装与部署
Big Data
04-30 347
编译步骤 安装JDK 安装maven （需要修改maven默认存储位置） 安装scala 定位到spark源码 mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -Phive -Phive-thriftserver -DskipTests clean package 或者 ./dev/make-distribution.sh –na...
Spark环境搭建及程序编译运行
最新发布
Justwhy_7的博客
10-23 301
假设之前在Linux系统中已经按照伪分布式模式在机器上安装了Hadoop，请在此基础上，按照Local模式安装Spark，并做相关配置，使得Spark可以顺利访问HDFS。之前在Linux系统中已经按照伪分布式模式在机器上安装了Hadoop，在此基础上，按照Local模式安装Spark，并做相关配置，使得Spark可以顺利访问HDFS。请使用Local模式启动进入spark-shell环境，并书写几条Scala语句进行测试，然后退出spark-shell环境。2.4 通过spark-submit运行程序。
ubuntu12.04下安装spark
flaming
03-25 834
1.下载spark
Spark源码编译与安装指南
"本文档详细介绍了如何下载、安装和启动Apache Spark源码，特别针对Spark 2.1.0版本，并提供了在编译过程中可能遇到的问题及其解决方案。" Apache Spark 是一个流行的分布式计算框架，用于处理大规模数据集。它提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值