Spark安装配置【全网最全保姆级教程】（Hadoop3.1.3、JDK1.8）

已于 2024-06-24 10:51:05 修改
阅读量1.6k 收藏 11
点赞数 37
分类专栏： # Spark 分布式 文章标签： spark 大数据 分布式
于 2024-06-24 10:47:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63324772/article/details/139919222
版权

Spark安装配置【全网最全保姆级教程】

文章目录


前提

JDK 1.8

Hadoop 3.1.3（伪分布式）

Hadoop安装教程：

https://duanyx.blog.csdn.net/article/details/138035064?spm=1001.2014.3001.5502

在上述教程中已经配置

本教程安装内容

Spark 3.0.0

Scala 2.12.8

py4j

Pyspark

注：**【此教程版本】**Spark3.0.0对应的是Python3.8即Ubuntu自带的Python版本，所以如果你的Ubuntu版本为20，那么就下载Spark3.0.0的

注：**【其他版本问题】**如果在Ubuntu20.0版本下载2.4.0版本的Spark，系统自带的版本是3.8，2.4.0版本的Spark兼容python3.6，只能改系统版本，但是改了之后，再次开机会打不开终端

注：**【关于Spark是否只用安装Spark】**❌错的，Spark不能只安装Spark，还要安装对应的Scala，py4j，配置环境遍历，不然之后的代码跑不通的

1、安装Spark3.0.0

网址：Index of /dist/spark/spark-3.0.0 (apache.org)

在上述网址中安装Spark3.0.0

image-20240522212347314

放置在Ubuntu的Downloads文件夹中

sudo tar -zxf ~/Downloads/spark-3.0.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-3.0.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名

image-20240520110528604

安装后，还需要修改Spark的配置文件spark-env.sh

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

image-20240520110556719

编辑spark-env.sh文件，在第一行添加以下配置信息:

vim ./conf/spark-env.sh
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

image-20240520110414287

配置完成后就可以直接使用，不需要像Hadoop运行启动命令。
通过运行Spark自带的示例，验证Spark是否安装成功：（此步可以略过）

cd /usr/local/spark
bin/run-example SparkPi

image-20240520110736093

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）:

cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep "Pi is"

image-20240520110713426

使用 Spark Shell 编写代码（此步可以略过）

cd /usr/local/spark
bin/spark-shell

到了这里会出现两个报错（此步可以略过，有强迫症即可解决）

报错1：

[ERROR] Failed to construct terminal; falling back to unsupported
java.lang.NumberFormatException: For input string: "0x100"
	at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
	at java.lang.Integer.parseInt(Integer.java:580)
	at java.lang.Integer.valueOf(Integer.java:766)
	at scala.tools.jline_embedded.internal.InfoCmp.parseInfoCmp(InfoCmp.java:59)
	at scala.tools.jline_embedded.UnixTerminal.parseInfoCmp(UnixTerminal.java:242)
	at scala.tools.jline_embedded.UnixTerminal.<init>(UnixTerminal.java:65)
	at scala.tools.jline_embedded.UnixTerminal.<init>(UnixTerminal.java:50)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at java.lang.Class.newInstance(Class.java:442)
	at scala.tools.jline_embedded.TerminalFactory.getFlavor(TerminalFactory.java:211)
	at scala.tools.jline_embedded.TerminalFactory.create(TerminalFactory.java:102)
	at scala.tools.jline_embedded.TerminalFactory.get(TerminalFactory.java:186)
	at scala.tools.jline_embedded.TerminalFactory.get(TerminalFactory.java:192)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:243)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:235)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:223)
	at scala.tools.nsc.interpreter.jline_embedded.JLineConsoleReader.<init>(JLineReader.scala:64)
	at scala.tools.nsc.interpreter.jline_embedded.InteractiveReader.<init>(JLineReader.scala:33)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:858)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:855)
	at scala.tools.nsc.interpreter.ILoop.scala$tools$nsc$interpreter$ILoop$$mkReader$1(ILoop.scala:862)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873)
	at scala.util.Try$.apply(Try.scala:192)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873)
	at scala.collection.immutable.Stream$$anonfun$map$1.apply(Stream.scala:418)
	at scala.collection.immutable.Stream$$anonfun$map$1.apply(Stream.scala:418)
	at scala.collection.immutable.Stream$Cons.tail(Stream.scala:1233)
	at scala.collection.immutable.Stream$Cons.tail(Stream.scala:1223)
	at scala.collection.immutable.Stream.collect(Stream.scala:435)
	at scala.tools.nsc.interpreter.ILoop.chooseReader(ILoop.scala:875)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$newReader$1$1.apply(SparkILoop.scala:184)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$newReader$1$1.apply(SparkILoop.scala:184)
	at scala.Option.fold(Option.scala:158)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.newReader$1(SparkILoop.scala:184)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.org$apache$spark$repl$SparkILoop$$anonfun$$preLoop$1(SparkILoop.scala:188)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:249)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:247)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.withSuppressedSettings$1(SparkILoop.scala:235)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.startup$1(SparkILoop.scala:247)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply$mcZ$sp(SparkILoop.scala:282)
	at org.apache.spark.repl.SparkILoop.runClosure(SparkILoop.scala:159)
	at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:182)
	at org.apache.spark.repl.Main$.doMain(Main.scala:78)
	at org.apache.spark.repl.Main$.main(Main.scala:58)
	at org.apache.spark.repl.Main.main(Main.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
	at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:845)
	at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
	at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
	at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
	at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

解决1：

gedit ~/.bashrc
export TERM=xterm-color  # 添加
source ~/.bashrc  # 使其生效

报错2：

WARN  NativeCodeLoader:60 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决2：

vim  ~/.bashrc
export JAVA_LIBRAY_PATH=/usr/local/hadoop/lib/native
source ~/.bashrc

然后切换到spark目录下

cd /usr/local/spark
vim conf/spark-env.sh
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH # 添加命令

再次启动Spark Shell

cd /usr/local/spark
bin/spark-shell

image-20240520113342489

退出Spark Shell

:quit

2、安装Scala

wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb
sudo dpkg -i scala-2.12.8.deb
scala -version

3、安装 py4j

Py4J在驱动程序上用于Python和Java SparkContext对象之间的本地通信;大型数据传输是通过不同的机制执行的。

sudo pip install py4j

如果使用pip报错：

使用下面的命令进行解决

先使用命令（99%报错问题不大）

sudo apt install python3-pip

再解决

sudo apt-get remove python-pip-whl
sudo apt -f install
sudo apt update && sudo apt dist-upgrade
sudo apt install python3-pip

4、配置环境变量

vim ~/.bashrc

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#上述是我的，根据自己的配置自行斟酌，但是必须有Java的环境遍历

#下面的是必要的，不要改动
export HADOOP_HOME=/usr/local/hadoop
export SPARK_HOME=/usr/local/spark
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PATH

source ~/.bashrc

5、启动pyspark

控制台直接输入pyspark即可

pyspark

image-20240522212716987

上述安装Spark即完成

不建议使用Pyspark进行关于Spark的Python编程

安装VScode教程如下

Ubuntu安装VScode

链接下载

https://code.visualstudio.com/

image-20240522214313184

cd Downloads
sudo dpkg -i code_*.deb

打开

code

若想使用Python编程，则开始下面的配置

配置python

选择第一个，点击install

image-20240522211056618

小段爱开发
关注
  • 37
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark安装教程
weixin_56221448的博客
03-31 1万+
spark安装
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
spark-3.3.3-bin-hadoop3.tgz
10-19
该包是spark3.3.3版本，对应Hadoop3.x,按需取用，不收费
spark的安装与部署
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
spark 安装详细步骤
qq_58476985的博客
10-11 2747
3、在目录/home/hadoop/software下解压：tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz。4、进入conf目录,复制文件cp spark-env.sh.template spark-env.sh。6、cd 切换到sbin目录下使用 ./start-all.sh 命令。5、vim spark-env.sh 进入文件编辑 点击 i；7、cd 到bin目录 使用./saprk-shell。jps后看到worker和Master节点。
spark安装配置
m0_66279156的博客
06-02 3794
spark安装配置
Hadoop配套资源，hadoop3.2 jdk1.8
05-25
标题中的“Hadoop配套资源，hadoop3.2 jdk1.8”表明这是一个与Hadoop 3.2版本相关的资源包，同时包含了Java开发工具集JDK的1.8版本。Hadoop是Apache软件基金会的一个开源项目，主要用于大数据处理和分析，而JDK则是...
hadoop3.3+jdk1.8.zip
12-14
标题中的"hadoop3.3+jdk1.8.zip"指的是一个包含Hadoop 3.3版本和Java Development Kit（JDK）1.8的压缩文件，这通常是为设置一个兼容且稳定的Hadoop集群环境准备的。在这个压缩包中，用户可以找到所有必要的软件来...
类Linux环境安装jdk1.8及环境变量配置详解
09-14
这里我们将详细介绍在类Linux环境下安装JDK 1.8以及配置环境变量的步骤。 首先，安装前需要做一些准备工作。这包括创建一个特定的目录来存放JDK，一般选择`/usr/local/jdk8`作为默认安装位置。使用`mkdir`命令创建...
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
Hadoop3.1.3 配置文件
01-15
本文将深入探讨Hadoop3.1.3中的配置文件及其重要性。 首先，Hadoop的配置文件是整个系统运行的基础，它们定义了Hadoop集群的运行参数、节点间的通信方式以及数据存储策略等关键设置。主要的配置文件包括`core-site....
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
Spark系列(一)spark简介及安装配置
qq_38130094的博客
07-13 6290
什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎内存计算Spark中一个最重要的特性就是基于内存进行计算，从而让它的计算速度可以达到MapReduce的几十倍甚至上百倍2. spark特点：2.1 Speed：速度快由于Spark是基于内存进行计算的，所以它的计算性能理论上可以比MapReduce快100倍。
Spark简介以及最详细安装教程
zp17834994071的博客
07-29 2万+
首先来聊聊什么是Spark?为什么现在那么多人都用Spark? Spark简介： Spark是一种通用的大数据计算框架,是基于**RDD（弹性分布式数据集）**的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。 为什么使用Spark ...
Spark 下载、安装与配置
梁辰兴的博客
03-29 1万+
Apache Spark 是一个快速的通用集群计算系统。它提供了Java， Scala， Python ，R 四种编程语言的 API 编程接口和基于 DAG 图执行的优化引擎。它还支持一系列丰富的高级工具：处理结构化数据的 Spark SQL，用于机器学习的 MLlib，控制图、并行图操作和计算的一组算法和工具的集合 GraphX，数据流处理 Spark Streaming。
大数据与云计算——Spark的安装和配置
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
09-24 2635
Apache Spark是一个基于内存的分布式计算框架，它提供了高效、强大的数据处理和分析能力。与传统的Hadoop MapReduce相比，Spark的主要优势在于其能够将数据集缓存在内存中，从而大大减少了磁盘I/O操作，提高了数据处理速度。
Spark3的详细安装步骤
qq_45263520的博客
04-26 3778
Spark的安装。Spark3.1.2的安装步骤。启动Spark集群。查看后台进程。查看Spark进程。通过Web界面访问Spark。验证Spark的安装是否成功。
centos7 hadoop安装jdk1.8
最新发布
10-28
要在CentOS 7上安装Hadoop并使用JDK 1.8，您可以按照以下步骤进行操作： 1. 首先，确保您已登录到CentOS 7服务器作为root用户。 2. 在终端中运行以下命令，以确保您的服务器已安装wget软件包： ``` yum install wget ``` 3. 下载JDK 1.8安装包。您可以从Oracle官方网站下载JDK 1.8的tar.gz文件。使用wget命令下载JDK安装包： ``` wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" \ <JDK 1.8下载链接> ``` 替换`<JDK 1.8下载链接>`为您选择的JDK 1.8版本的下载链接。 4. 下载完成后，解压JDK安装包到`/opt`目录中： ``` tar -xf <JDK 安装包文件名>.tar.gz -C /opt ``` 替换`<JDK 安装包文件名>`为解压后的文件名。 5. 配置环境变量，使用以下命令编辑`/etc/profile`文件： ``` vi /etc/profile ``` 6. 将以下内容添加到文件的末尾： ``` export JAVA_HOME=/opt/<JDK 解压后的文件夹名> export PATH=$JAVA_HOME/bin:$PATH ``` 7. 保存并关闭文件，然后运行命令使环境变量生效： ``` source /etc/profile ``` 8. 验证Java是否正确安装，运行以下命令： ``` java -version ``` 9. 现在，您可以按照您的需求继续安装Hadoop，并在Hadoop配置文件中指定Java的安装路径。 上述步骤应该能够帮助您在CentOS 7上安装JDK 1.8并在Hadoop中使用它。请注意，在执行命令时要替换尖括号`<>`中的占位符为实际的值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值