Spark安装配置【全网最全保姆级教程】（Hadoop3.1.3、JDK1.8）

已于 2024-06-24 10:51:05 修改
阅读量1.6k 收藏 11
点赞数 37
分类专栏： # Spark 分布式 文章标签： spark 大数据 分布式
于 2024-06-24 10:47:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63324772/article/details/139919222
版权

Spark安装配置【全网最全保姆级教程】

文章目录


前提

JDK 1.8

Hadoop 3.1.3（伪分布式）

Hadoop安装教程：

https://duanyx.blog.csdn.net/article/details/138035064?spm=1001.2014.3001.5502

在上述教程中已经配置

本教程安装内容

Spark 3.0.0

Scala 2.12.8

py4j

Pyspark

注：**【此教程版本】**Spark3.0.0对应的是Python3.8即Ubuntu自带的Python版本，所以如果你的Ubuntu版本为20，那么就下载Spark3.0.0的

注：**【其他版本问题】**如果在Ubuntu20.0版本下载2.4.0版本的Spark，系统自带的版本是3.8，2.4.0版本的Spark兼容python3.6，只能改系统版本，但是改了之后，再次开机会打不开终端

注：**【关于Spark是否只用安装Spark】**❌错的，Spark不能只安装Spark，还要安装对应的Scala，py4j，配置环境遍历，不然之后的代码跑不通的

1、安装Spark3.0.0

网址：Index of /dist/spark/spark-3.0.0 (apache.org)

在上述网址中安装Spark3.0.0

image-20240522212347314

放置在Ubuntu的Downloads文件夹中

sudo tar -zxf ~/Downloads/spark-3.0.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-3.0.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名

image-20240520110528604

安装后，还需要修改Spark的配置文件spark-env.sh

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

image-20240520110556719

编辑spark-env.sh文件，在第一行添加以下配置信息:

vim ./conf/spark-env.sh
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

image-20240520110414287

配置完成后就可以直接使用，不需要像Hadoop运行启动命令。
通过运行Spark自带的示例，验证Spark是否安装成功：（此步可以略过）

cd /usr/local/spark
bin/run-example SparkPi

image-20240520110736093

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）:

cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep "Pi is"

image-20240520110713426

使用 Spark Shell 编写代码（此步可以略过）

cd /usr/local/spark
bin/spark-shell

到了这里会出现两个报错（此步可以略过，有强迫症即可解决）

报错1：

[ERROR] Failed to construct terminal; falling back to unsupported
java.lang.NumberFormatException: For input string: "0x100"
	at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
	at java.lang.Integer.parseInt(Integer.java:580)
	at java.lang.Integer.valueOf(Integer.java:766)
	at scala.tools.jline_embedded.internal.InfoCmp.parseInfoCmp(InfoCmp.java:59)
	at scala.tools.jline_embedded.UnixTerminal.parseInfoCmp(UnixTerminal.java:242)
	at scala.tools.jline_embedded.UnixTerminal.<init>(UnixTerminal.java:65)
	at scala.tools.jline_embedded.UnixTerminal.<init>(UnixTerminal.java:50)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at java.lang.Class.newInstance(Class.java:442)
	at scala.tools.jline_embedded.TerminalFactory.getFlavor(TerminalFactory.java:211)
	at scala.tools.jline_embedded.TerminalFactory.create(TerminalFactory.java:102)
	at scala.tools.jline_embedded.TerminalFactory.get(TerminalFactory.java:186)
	at scala.tools.jline_embedded.TerminalFactory.get(TerminalFactory.java:192)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:243)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:235)
	at scala.tools.jline_embedded.console.ConsoleReader.<init>(ConsoleReader.java:223)
	at scala.tools.nsc.interpreter.jline_embedded.JLineConsoleReader.<init>(JLineReader.scala:64)
	at scala.tools.nsc.interpreter.jline_embedded.InteractiveReader.<init>(JLineReader.scala:33)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:858)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:855)
	at scala.tools.nsc.interpreter.ILoop.scala$tools$nsc$interpreter$ILoop$$mkReader$1(ILoop.scala:862)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873)
	at scala.util.Try$.apply(Try.scala:192)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873)
	at scala.collection.immutable.Stream$$anonfun$map$1.apply(Stream.scala:418)
	at scala.collection.immutable.Stream$$anonfun$map$1.apply(Stream.scala:418)
	at scala.collection.immutable.Stream$Cons.tail(Stream.scala:1233)
	at scala.collection.immutable.Stream$Cons.tail(Stream.scala:1223)
	at scala.collection.immutable.Stream.collect(Stream.scala:435)
	at scala.tools.nsc.interpreter.ILoop.chooseReader(ILoop.scala:875)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$newReader$1$1.apply(SparkILoop.scala:184)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$newReader$1$1.apply(SparkILoop.scala:184)
	at scala.Option.fold(Option.scala:158)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.newReader$1(SparkILoop.scala:184)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.org$apache$spark$repl$SparkILoop$$anonfun$$preLoop$1(SparkILoop.scala:188)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:249)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:247)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.withSuppressedSettings$1(SparkILoop.scala:235)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.startup$1(SparkILoop.scala:247)
	at org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply$mcZ$sp(SparkILoop.scala:282)
	at org.apache.spark.repl.SparkILoop.runClosure(SparkILoop.scala:159)
	at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:182)
	at org.apache.spark.repl.Main$.doMain(Main.scala:78)
	at org.apache.spark.repl.Main$.main(Main.scala:58)
	at org.apache.spark.repl.Main.main(Main.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
	at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:845)
	at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
	at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
	at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
	at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

解决1：

gedit ~/.bashrc
export TERM=xterm-color  # 添加
source ~/.bashrc  # 使其生效

报错2：

WARN  NativeCodeLoader:60 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决2：

vim  ~/.bashrc
export JAVA_LIBRAY_PATH=/usr/local/hadoop/lib/native
source ~/.bashrc

然后切换到spark目录下

cd /usr/local/spark
vim conf/spark-env.sh
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH # 添加命令

再次启动Spark Shell

cd /usr/local/spark
bin/spark-shell

image-20240520113342489

退出Spark Shell

:quit

2、安装Scala

wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb
sudo dpkg -i scala-2.12.8.deb
scala -version

3、安装 py4j

Py4J在驱动程序上用于Python和Java SparkContext对象之间的本地通信;大型数据传输是通过不同的机制执行的。

sudo pip install py4j

如果使用pip报错：

使用下面的命令进行解决

先使用命令（99%报错问题不大）

sudo apt install python3-pip

再解决

sudo apt-get remove python-pip-whl
sudo apt -f install
sudo apt update && sudo apt dist-upgrade
sudo apt install python3-pip

4、配置环境变量

vim ~/.bashrc

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#上述是我的，根据自己的配置自行斟酌，但是必须有Java的环境遍历

#下面的是必要的，不要改动
export HADOOP_HOME=/usr/local/hadoop
export SPARK_HOME=/usr/local/spark
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PATH

source ~/.bashrc

5、启动pyspark

控制台直接输入pyspark即可

pyspark

image-20240522212716987

上述安装Spark即完成

不建议使用Pyspark进行关于Spark的Python编程

安装VScode教程如下

Ubuntu安装VScode

链接下载

https://code.visualstudio.com/

image-20240522214313184

cd Downloads
sudo dpkg -i code_*.deb

打开

code

若想使用Python编程，则开始下面的配置

配置python

选择第一个，点击install

image-20240522211056618

小段爱开发
关注
  • 37
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop配套资源，hadoop3.2 jdk1.8
05-25
标题中的“Hadoop配套资源，hadoop3.2 jdk1.8”表明这是一个与Hadoop 3.2版本相关的资源包，同时包含了Java开发工具集JDK的1.8版本。Hadoop是Apache软件基金会的一个开源项目，主要用于大数据处理和分析，而JDK则是...
hadoop3.3+jdk1.8.zip
12-14
标题中的"hadoop3.3+jdk1.8.zip"指的是一个包含Hadoop 3.3版本和Java Development Kit（JDK）1.8的压缩文件，这通常是为设置一个兼容且稳定的Hadoop集群环境准备的。在这个压缩包中，用户可以找到所有必要的软件来...
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
热门推荐
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Spark安装配置【全网最全保姆级教程】
m0_63324772的博客
05-30 2054
前提JDK 1.8Hadoop 3.1.3（伪分布式）Hadoop安装教程：在上述教程中已经配置py4jPyspark注：**【此教程版本】**Spark3.0.0对应的是Python3.8即Ubuntu自带的Python版本，所以如果你的Ubuntu版本为20，那么就下载Spark3.0.0的。
大数据框架保姆级安装教程——hadoop
yiluohan0307的专栏
03-20 460
大数据框架保姆级安装教程——hadoop
Hadoop 3.1.3 详细安装教程
fwdwqdwq的博客
08-16 1635
1）如果集群是第一次启动，需要在hadoop001节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）在配置了ResourceManager的节点（hadoop002）启动YARN。（3) 修改window的主机映射文件（hosts文件）（2）配置主机名称映射，打开/etc/hosts。配置yarn-site.xml。...
【 大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境保姆级教程
weixin_48418851的博客
05-28 902
文章目录Hadoop（伪分布）+ Spark（Local）软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、Hadoop安装及配置（伪分布式）1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装Hadoop3.1.36.Hadoop伪分布式配置三、安装 Spark2.4.01.下载Spark2.4.02.安装Spark（Local模式）3.启动Spark Shell4.退出Spark Shell总结 Hadoop（伪分布）+ Spar
基础架构系列篇-基于win10安装SPARK3与HADOOP环境
hudongdong2020的博客
02-20 562
基础架构系列篇-基于win10安装SPARK3与HADOOP环境(这里版本是 spark-3.1.2 hadoop-3.2.0) 目录1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)2.下载安装hadoop (按SPARK版本选择)3. 测试查看 1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz) 地址: http://spark.apache.org/downloads.html https://dow
Ubuntu22.04下安装Spark3.2.0（Local模式）
哇咔咔哇咔的博客
04-23 1534
Ubuntu22.04下安装Spark3.2.0保姆级教程
Ubuntu22.04下安装Spark2.4.0（Local模式）
哇咔咔哇咔的博客
03-01 1739
Ubuntukylin-22.04系统下安装Spark2.4.0保姆级教程
类Linux环境安装jdk1.8及环境变量配置详解
09-14
这里我们将详细介绍在类Linux环境下安装JDK 1.8以及配置环境变量的步骤。 首先，安装前需要做一些准备工作。这包括创建一个特定的目录来存放JDK，一般选择`/usr/local/jdk8`作为默认安装位置。使用`mkdir`命令创建...
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
Hadoop3.1.3 配置文件
01-15
本文将深入探讨Hadoop3.1.3中的配置文件及其重要性。 首先，Hadoop的配置文件是整个系统运行的基础，它们定义了Hadoop集群的运行参数、节点间的通信方式以及数据存储策略等关键设置。主要的配置文件包括`core-site....
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 1000
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
分布式系统常见软件架构模式
Ben的专栏
07-25 1030
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 807
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 1027
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
centos7 hadoop安装jdk1.8
10-28
要在CentOS 7上安装Hadoop并使用JDK 1.8，您可以按照以下步骤进行操作： 1. 首先，确保您已登录到CentOS 7服务器作为root用户。 2. 在终端中运行以下命令，以确保您的服务器已安装wget软件包： ``` yum install wget ``` 3. 下载JDK 1.8安装包。您可以从Oracle官方网站下载JDK 1.8的tar.gz文件。使用wget命令下载JDK安装包： ``` wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" \ <JDK 1.8下载链接> ``` 替换`<JDK 1.8下载链接>`为您选择的JDK 1.8版本的下载链接。 4. 下载完成后，解压JDK安装包到`/opt`目录中： ``` tar -xf <JDK 安装包文件名>.tar.gz -C /opt ``` 替换`<JDK 安装包文件名>`为解压后的文件名。 5. 配置环境变量，使用以下命令编辑`/etc/profile`文件： ``` vi /etc/profile ``` 6. 将以下内容添加到文件的末尾： ``` export JAVA_HOME=/opt/<JDK 解压后的文件夹名> export PATH=$JAVA_HOME/bin:$PATH ``` 7. 保存并关闭文件，然后运行命令使环境变量生效： ``` source /etc/profile ``` 8. 验证Java是否正确安装，运行以下命令： ``` java -version ``` 9. 现在，您可以按照您的需求继续安装Hadoop，并在Hadoop配置文件中指定Java的安装路径。 上述步骤应该能够帮助您在CentOS 7上安装JDK 1.8并在Hadoop中使用它。请注意，在执行命令时要替换尖括号`<>`中的占位符为实际的值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值