Spark安装配置【全网最全保姆级教程】

最新推荐文章于 2025-03-04 10:50:54 发布
最新推荐文章于 2025-03-04 10:50:54 发布
阅读量1.3w 收藏 60
点赞数 19
分类专栏： 分布式 # Spark 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63324772/article/details/139276671
版权

文章目录


前提

JDK 1.8

Hadoop 3.1.3（伪分布式）

Hadoop安装教程：

https://duanyx.blog.csdn.net/article/details/138035064?spm=1001.2014.3001.5502

在上述教程中已经配置

本教程安装内容

Spark 3.0.0

Scala 2.12.8

py4j

Pyspark

注：**【此教程版本】**Spark3.0.0对应的是Python3.8即Ubuntu自带的Python版本，所以如果你的Ubuntu版本为20，那么就下载Spark3.0.0的

注：**【其他版本问题】**如果在Ubuntu20.0版本下载2.4.0版本的Spark，系统自带的版本是3.8，2.4.0版本的Spark兼容python3.6，只能改系统版本，但是改了之后，再次开机会打不开终端

注：**【关于Spark是否只用安装Spark】**❌错的，Spark不能只安装Spark，还要安装对应的Scala，py4j，配置环境遍历，不然之后的代码跑不通的

1、安装Spark3.0.0

网址：Index of /dist/spark/spark-3.0.0 (apache.org)

在上述网址中安装Spark3.0.0

或者百度网盘提取
链接：https://pan.baidu.com/s/1RsirH76IqMqL2mL3F-9SuQ?pwd=0616
提取码：0616

image-20240522212347314

放置在Ubuntu的Downloads文件夹中

sudo tar -zxf ~/Downloads/spark-3.0.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-3.0.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名

image-20240520110528604

安装后，还需要修改Spark的配置文件spark-env.sh

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

image-20240520110556719

编辑spark-env.sh文件，在第一行添加以下配置信息:

vim ./conf/spark-env.sh
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

image-20240520110414287

配置完成后就可以直接使用，不需要像Hadoop运行启动命令。
通过运行Spark自带的示例，验证Spark是否安装成功：（此步可以略过）

cd /usr/local/spark
bin/run-example SparkPi

image-20240520110736093

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）:

cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep "Pi is"

image-20240520110713426

使用 Spark Shell 编写代码（此步可以略过）

cd /usr/local/spark
bin/spark-shell

到了这里会出现两个报错（此步可以略过，有强迫症即可解决）

报错1：

[ERROR] Failed to construct terminal; falling back to unsupported
java.lang.NumberFormatException: For input string: "0x100"
	at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
	at java.lang.Integer.parseInt(Integer.java:580)
	at java.lang.Integer.valueOf(Integer.java:766)
	at scala.tools.jline_embedded.internal.InfoCmp.parseInfoCmp(InfoCmp.java:59)
	at scala.tools.jline_embedded.UnixTerminal.parseInfoCmp(UnixTerminal.java:242)
	at scala.tools.jline_embedded.UnixTerminal.<init>(UnixTerminal.java:65)
	at scala.tools.jline_embedded.UnixTerminal.<init>(UnixTerminal.java:50)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at java.lang.Class.newInstance(Class.java:442)
	at scala.tools.jline_embedded.TerminalFactory.getFlavor(TerminalFactory.java:211)
	at scala.tools.jline_embedded.TerminalFactory.create(TerminalFactory.java:102)
	at scala.tools.jline_embedded.TerminalFactory.get(TerminalFactory.java:186)
	at scala.tools.jline_embedded.TerminalFactory.get(TerminalFactory.java:192)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:243)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:235)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:223)
	at scala.tools.nsc.interpreter.jline_embedded.JLineConsoleReader.<init>(JLineReader.scala:64)
	at scala.tools.nsc.interpreter.jline_embedded.InteractiveReader.<init>(JLineReader.scala:33)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:858)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:855)
	at scala.tools.nsc.interpreter.ILoop.scala$tools$nsc$interpreter$ILoop$$mkReader$1(ILoop.scala:862)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873)
	at scala.util.Try$.apply(Try.scala:192)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873)
	at scala.collection.immutable.Stream$$anonfun$map$1.apply(Stream.scala:418)
	at scala.collection.immutable.Stream$$anonfun$map$1.apply(Stream.scala:418)
	at scala.collection.immutable.Stream$Cons.tail(Stream.scala:1233)
	at scala.collection.immutable.Stream$Cons.tail(Stream.scala:1223)
	at scala.collection.immutable.Stream.collect(Stream.scala:435)
	at scala.tools.nsc.interpreter.ILoop.chooseReader(ILoop.scala:875)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$newReader$1$1.apply(SparkILoop.scala:184)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$newReader$1$1.apply(SparkILoop.scala:184)
	at scala.Option.fold(Option.scala:158)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.newReader$1(SparkILoop.scala:184)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.org$apache$spark$repl$SparkILoop$$anonfun$$preLoop$1(SparkILoop.scala:188)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:249)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:247)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.withSuppressedSettings$1(SparkILoop.scala:235)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.startup$1(SparkILoop.scala:247)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply$mcZ$sp(SparkILoop.scala:282)
	at org.apache.spark.repl.SparkILoop.runClosure(SparkILoop.scala:159)
	at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:182)
	at org.apache.spark.repl.Main$.doMain(Main.scala:78)
	at org.apache.spark.repl.Main$.main(Main.scala:58)
	at org.apache.spark.repl.Main.main(Main.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
	at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:845)
	at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
	at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
	at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
	at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

解决1：

gedit ~/.bashrc
export TERM=xterm-color  # 添加
source ~/.bashrc  # 使其生效

报错2：

WARN  NativeCodeLoader:60 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决2：

vim  ~/.bashrc
export JAVA_LIBRAY_PATH=/usr/local/hadoop/lib/native
source ~/.bashrc

然后切换到spark目录下

cd /usr/local/spark
vim conf/spark-env.sh
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH # 添加命令

再次启动Spark Shell

cd /usr/local/spark
bin/spark-shell

image-20240520113342489

退出Spark Shell

:quit

2、安装Scala

wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb
sudo dpkg -i scala-2.12.8.deb
scala -version

3、安装 py4j

Py4J在驱动程序上用于Python和Java SparkContext对象之间的本地通信;大型数据传输是通过不同的机制执行的。

sudo pip install py4j

如果使用pip报错：

使用下面的命令进行解决

先使用命令（99%报错问题不大）

sudo apt install python3-pip

再解决

sudo apt install python3-pip
# 99%会报错，然后运行下面的命令
sudo apt-get remove python-pip-whl
sudo apt -f install
sudo apt update && sudo apt dist-upgrade
sudo apt install python3-pip

4、配置环境变量

vim ~/.bashrc

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#上述是我的，根据自己的配置自行斟酌，但是必须有Java的环境遍历

#下面的是必要的，不要改动
export HADOOP_HOME=/usr/local/hadoop
export SPARK_HOME=/usr/local/spark
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PATH

source ~/.bashrc

5、启动pyspark

控制台直接输入pyspark即可

pyspark

image-20240522212716987

上述安装Spark即完成

不建议使用Pyspark进行关于Spark的Python编程

安装VScode教程如下

Ubuntu安装VScode

链接下载

https://code.visualstudio.com/

image-20240522214313184

cd Downloads
sudo dpkg -i code_*.deb

打开

code

若想使用Python编程，则开始下面的配置

配置python

选择第一个，点击install

image-20240522211056618

（超详细）Spark on Yarn安装配置
数据爬坡ing的博客
01-07 2048
（超详细）Spark on Yarn安装配置，附有详细步骤，详细代码，注意事项提示
Hadoop安装与配置详细教程
热门推荐
王二红
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
Spark安装与配置
Coding Road
02-07 2553
文章目录Spark安装与配置软件依赖与版本号节点分配安装Spark1. 下载Spark并上传到服务器后解压2. 修改配置文件3. 修改环境变量4. 拷贝到子节点5. 启动Spark6. 启动Spark Shell界面 Spark安装与配置 软件依赖与版本号 安装Hive的前提条件是已经部署了Hadoop和Scala。具体安装Hadoop的方法见前面发的文章Hadoop伪分布式安装，安装Scala的...
启动spark
2301_80318750的博客
09-12 376
5.编辑spark-defaults.conf 和 spark-env.sh。驱动器会创建对应的编程入口（SparkContext/SparkSession）主节点：master---资源管理调度和任务的分配（类似yarn）从节点执行计算任务（多个计算任务：每个计算任务会分配一个执行器）从节点会将任务的结果返回到主节点，主节点再继续做相应的操作。7.在UI界面里面添加目录spark-logs。从节点：worker---执行具体的计算任务。4.启动后各节点的正常情况。9.spark的运行架构。
Spark 大数据环境搭建（ Linux 系统安装和配置）
最新发布
2301_80186825的博客
03-04 888
（1）选择典型安装（2）选择“安装程序光盘映像文件(iso)”，点击右侧的浏览按钮， 找到下载好的iso 文件，然后点击下一步。（3）将全名、用户名、密码、确认等几项均设为“spark”， 方便后面使用，然后点击下一步。（4）在命名虚拟机的窗体中，可以设定一下虚拟机名称或直接按默认，然后点击下一步。（5）在指定磁盘容量的窗体中，设定虚拟机使用的最大磁盘大小为60GB，虚拟机文件尺 寸是在使用过程中按需增长的，最大限制为 60GB。
spark大数据环境搭建
Gx_2647664843的博客
02-26 1269
Spark是一个开源的分布式计算框架，最初在加州大学伯克利分校AMPLab开发。它提供了高效的数据处理能力，可以在大规模数据集上进行快速计算和分析。Spark支持多种编程语言，包括Java、Scala和Python，同时提供了丰富的API，使得用户可以方便地进行数据处理、机器学习、图计算等各种任务。Spark的主要特点包括内存计算、容错性、高性能和易用性，因此在大数据处理领域得到了广泛应用。
Spark安装及配置详细步骤
cingdy0124的博客
11-17 1365
Spark安装及配置
spark的安装配置
m0_74216612的博客
11-25 1577
执行source /etc/profile使命令生效。如果遇到了报错，一般都是文件权限的问题。记得切换root账户。
Spark的安装与配置
chen7588693的博客
01-15 430
一、Spark 概述 1.什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。 目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、Graph...
spark的安装和配置
qq_44079295的博客
08-30 1313
1、下载spark压缩包到linux进行解压 2、配置环境变量文件 #编辑配置文件 vim /etc/profile #添加下面两行 export SPARK_HOME=/software/spark export PATH=$PATH:$SPARK_HOME/bin export PATH=$PATH:$SPARK_HOME/sbin 3、配置主机信息 #进入conf目录中 cd /software/spark/conf #先从提供的模板中复制slaves和spark-env.sh文件 cp sl
CDH5.16.1全网最细的企业级离线部署
06-14
Hadoop的调优和运维对于Hadoop来说是很重要的一个环节,对于大规模数据集来说更是如此。性能调优对于Hadoop来说无异于打"任督二脉",对于Hadoop的计算能力会有质的提升,而运维之于Hadoop来说,就好像"金钟罩,铁布衫...
spark安装（含报告）.zip
11-12
适合大数据分析初学者，安装大数据分析工具spark，python语言测试（保姆级教学）。
spark (2)spark开发环境搭建
猿类崛起
06-02 1280
spark开发环境搭建 jdk下载安装 Scala下载安装 Scala IDE for Eclipse下载安装 IntelliJ IDEA for scala下载安装
Spark大数据环境搭建
2501_90817086的博客
03-02 849
大数据环境搭建
大数据与云计算：Spark的安装与配置(保姆级教程！）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
09-24 3339
Apache Spark是一个基于内存的分布式计算框架，它提供了高效、强大的数据处理和分析能力。与传统的Hadoop MapReduce相比，Spark的主要优势在于其能够将数据集缓存在内存中，从而大大减少了磁盘I/O操作，提高了数据处理速度。Spark提供了多种编程接口，包括Scala、Java、Python和R等，同时还提供了交互式Shell，易于使用和快速调试。
spark安装配置
m0_66279156的博客
06-02 3977
spark安装配置
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值