contOS7安装配置 spark全套教程，复含问题解决办法

最新推荐文章于 2024-05-30 20:20:45 发布
最新推荐文章于 2024-05-30 20:20:45 发布
阅读量419 收藏 4
点赞数
分类专栏： spark 文章标签： spark hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50641264/article/details/122439838
版权

需要安装包直接联系:qq：258167139

1.下载安装spark

2.传入到服务器

在这里插入图片描述

2.1解压文件

# 解压到当前文件夹
tar zxvf spark-3.2.0-bin-hadoop3.2.tgz
# 解压到指定的目spark录（首先创建好目录）
tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz /usr/local/spark

2.2给spark-3.2.0-bin-hadoop3.2文件夹加一个别名

ln -s /usr/local/spark-3.2.0-bin-hadoop3.2 /usr/local/spark
  • 成功标志
    在这里插入图片描述

3.配置环境变量

#java
export JAVA_HOME=/usr/local/jdk1.8.0_281
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP
export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#python env
export PATH=/usr/local/python3.8/bin/:$PATH
#spark env
export SPARK_HOME=/usr/local/spark-3.2.0-bin-hadoop3.2
#PYSPARK_PYTHON
export PYSPARK_PYTHON=/usr/local/anaconda3/envs/pyspark/bin/python

在这里插入图片描述

  • 跑一个程序pyspark
(pyspark) [root@6274master bin]# ./pyspark
Python 3.8.12 (default, Oct 12 2021, 13:49:34) 
[GCC 7.5.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/01/11 08:17:41 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.2.0
      /_/

Using Python version 3.8.12 (default, Oct 12 2021 13:49:34)
Spark context Web UI available at http://6274master:4040
Spark context available as 'sc' (master = local[*], app id = local-1641907063490).
SparkSession available as 'spark'.
>>> sc.parallelize([1,2,3,4,5]).map(lambda x: x + 1).collect()
[2, 3, 4, 5, 6]                                                                 
>>>
  • 成功标识
    在这里插入图片描述
  • 测试spark-shell
(pyspark) [root@6274master bin]# ./spark-shell 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/01/11 09:28:31 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark context Web UI available at http://6274master:4040
Spark context available as 'sc' (master = local[*], app id = local-1641911313917).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.2.0
      /_/
         
Using Scala version 2.12.15 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_281)
Type in expressions to have them evaluated.
Type :help for more information.

scala> sc.parallelize(Array(1,2,3,4,5)).map(x=> x + 1).collect()
res0: Array[Int] = Array(2, 3, 4, 5, 6)
  • 测试成功示例
    在这里插入图片描述
  • spark-submit提交代码运行
(pyspark) [root@6274master bin]# ./spark-submit --master local[*] /usr/local/spark/examples/src/main/python/pi.py 10

4.修改spark配置文件

4.1配置配置文件

进入到spark的配置文件目录中, cd $SPARK_HOME/conf

4.1.1 配置workers文件
# 改名, 去掉后面的.template后缀
mv workers.template workers
# 编辑worker文件
vim workers
# 将里面的localhost删除, 追加
node1
node2
node3
到workers文件内
# 功能: 这个文件就是指示了  当前SparkStandAlone环境下, 有哪些worker
4.1.2配置spark-env.sh文件
# 1. 改名
mv spark-env.sh.template spark-env.sh
# 2. 编辑spark-env.sh, 在底部追加如下内容
## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk
## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop
## 指定spark老大Master的IP和提交任务的通信端口
# 告知Spark的master运行在哪个机器上
export SPARK_MASTER_HOST=node1
# 告知sparkmaster的通讯端口
export SPARK_MASTER_PORT=7077
# 告知spark master的 webui端口
SPARK_MASTER_WEBUI_PORT=8080
# worker cpu可用核数
SPARK_WORKER_CORES=1
# worker可用内存
SPARK_WORKER_MEMORY=1g
# worker的工作通讯地址
SPARK_WORKER_PORT=7078
# worker的 webui地址
SPARK_WORKER_WEBUI_PORT=8081
## 设置历史服务器
# 配置的意思是  将spark程序运行的历史日志 存到hdfs的/sparklog文件夹中
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true"
  • 注意, 上面的配置的路径 要根据你自己机器实际的路径来写
    在HDFS上创建程序运行历史记录存放的文件夹:
hadoop fs -mkdir /sparklog
hadoop fs -chmod 777 /sparklog
4.1.3配置spark-defaults.conf文件
# 1. 改名
mv spark-defaults.conf.template spark-defaults.conf
# 2. 修改内容, 追加如下内容
# 开启spark的日期记录功能
spark.eventLog.enabled 	true
# 设置spark日志记录的路径
spark.eventLog.dir	 hdfs://node1:8020/sparklog/ 
# 设置spark日志是否启动压缩
spark.eventLog.compress 	true
4.1.4配置log4j.properties 文件 [可选配置]
# 1. 改名
mv log4j.properties.template log4j.properties
# 2. 修改内容 参考下图

在这里插入图片描述

这个文件的修改不是必须的, 为什么修改为WARN. 因为Spark是个话痨

会疯狂输出日志, 设置级别为WARN 只输出警告和错误日志, 不要输出一堆废话.

5.给其他集群虚拟机分发已经部署好的spark文件

# 把已经配置好的spark分发到其他虚拟机  分发到第二台虚拟机/usr/local目录下
scp -r spark-3.2.0-bin-hadoop3.2 192.168.47.11:/usr/local/

6. 检查

检查每台机器的:

JAVA_HOME
SPARK_HOME
PYSPARK_PYTHON

等等 环境变量是否正常指向正确的目录

  • 首先启动启动历史服务器

sbin/start-history-server.sh

7.启动服务

(base) [root@6274master spark]# sbin/start-all.sh
org.apache.spark.deploy.master.Master running as process 10844.  Stop it first.
6274master: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.2.0-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-6274master.out
6274slave0: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.2.0-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-6274slave0.out
6274slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.2.0-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-6274slave1.out
(base) [root@6274master spark]# jps
10992 Worker
9505 DataNode
9778 SecondaryNameNode
10050 ResourceManager
10234 NodeManager
9323 NameNode
10844 Master
11023 Jps
(base) [root@6274master spark]# sbin/start-history-server.sh 
starting org.apache.spark.deploy.history.HistoryServer, logging to /usr/local/spark-3.2.0-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.history.HistoryServer-1-6274master.out
(base) [root@6274master spark]# jps
10992 Worker
9505 DataNode
9778 SecondaryNameNode
10050 ResourceManager
11138 Jps
10234 NodeManager
9323 NameNode
10844 Master
11102 HistoryServer
(base) [root@6274master spark]#
  • 启动成功后jps检查，worker，Master，历史服务器HisrtoryServer等节点的启动情况

9.查看Master的WEB UI

默认端口master我们设置到了8080ip:端口
如果端口被占用, 会顺延到8081 …;8082… 8083… 直到申请到端口为止
可以在日志中查看, 具体顺延到哪个端口上:
Service 'MasterUI' could not bind on port 8080. Attempting port 8081.

  • 查看spark webUI
    在这里插入图片描述

10.链接客户端工具测试

  • 链接到集群
(base) [root@6274master bin]# ./pyspark --master spark://192.168.47.10:7077

11跑一个计算单词数量的程序

(base) [root@6274master bin]# ./pyspark --master spark://6274master:7077
Python 3.8.12 (default, Oct 12 2021, 13:49:34) 
[GCC 7.5.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
22/01/12 04:56:04 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-jaa classes where applicable
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.2.0
      /_/

Using Python version 3.8.12 (default, Oct 12 2021 13:49:34)
Spark context Web UI available at http://6274master:4040
Spark context available as 'sc' (master = spark://6274master:7077, app id = app-20220112045607-0002).
SparkSession available as 'spark'.
>>>
>>> sc.textFile("hdfs://6274master:9000/input/test.txt").flatMap(lambda line: line.split(" ")).map(lambda x:(x,1)).reduceByKey(lambda a, b:a + b).collect()
# 结果
[('hadoop', 2), ('java', 2), ('python', 1), ('R', 1), ('C', 1), ('html', 3), ('c', 1), ('javascripts', 2), ('linux', 2)]
>>>
大白菜程序猿
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
spark安装教程
weixin_56221448的博客
03-31 1万+
spark安装
Spark安装教程
Byyyi耀的博客
04-16 1147
Spark安装教程
Spark安装配置【全网最全保姆级教程】
最新发布
m0_63324772的博客
05-30 2400
前提JDK 1.8Hadoop 3.1.3（伪分布式）Hadoop安装教程：在上述教程中已经配置py4jPyspark注：**【此教程版本】**Spark3.0.0对应的是Python3.8即Ubuntu自带的Python版本，所以如果你的Ubuntu版本为20，那么就下载Spark3.0.0的。
安装Spark详细流程
tuanererer的博客
10-29 252
安装Spark 1、上传并解压，解压后创建一个软连接 （1）解压 tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz （2）创建软连接 ln -s spark-2.1.0-bin-hadoop2.7 spark 完成后如图 2、将spark中conf下的spark-env.sh.template重命名为spark-env.sh，并在其中加入如下代码 export JAVA_HOME= （安装jdk的目录） export SPARK_MASTER_HOST= （主机名
centOS7下Spark安装配置教程详解
09-15
在本文中，我们将深入探讨如何在CentOS7操作系统上安装和配置Apache Spark，这是一个流行的分布式计算框架。首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1....
centos 7 安装配置方法图文教程
09-15
《CentOS 7 安装配置方法图文教程详解》 CentOS 7 是一款广泛使用的开源操作系统，尤其在服务器领域备受欢迎。本文将详细讲解如何下载并安装 CentOS 7，包括选择合适的镜像类型、虚拟机安装步骤以及系统的初步配置...
CentOS 7 2009版镜像文件，内附下载安装全套教程
06-09
CentOS 7 2009版镜像文件，内附下载安装全套教程 CentOS 7是CentOS项目发布的开源类服务器操作系统，于2014年7月7日正式发布。 [1] CentOS 7是一个企业级的Linux发行版本，它源于RedHat免费公开的源代码进行再发行...
CentOS 7安装配置图文教程
09-15
### CentOS 7安装配置知识点详解 #### 一、前言 CentOS 7是一款基于Linux内核的操作系统，因其稳定性高、安全性强等特点，在服务器领域得到了广泛应用。本文将详细介绍CentOS 7的安装与基本配置步骤，帮助读者顺利...
spark 安装详细步骤
热门推荐
m0_57669880的博客
06-27 2万+
1.下载spark安装包，下面是官网连接地址 http://spark.apache.org/downloads.html 2.进入官网，点击红色框子 3.找自己对应的Hadoop版本的安装包 4.当前下的是 spark-2.3.1-bin-hadoop2.7.tgz 5.进入分布式j进入xftp，找自己下载的目录的安装包双击就上传到分布式自己习惯使用的目录下 6.cd 到自己的安装包路径，看到spark-2.3.1-bin-hadoop2.7.tgz ...
spark2 安装教程
11-30
单独搭建spark2.0，和spark1.3共存，适用于新老spark版本共存的情况
Spark安装和使用
05-25
如果你的计算机上已经安装了Hadoop，本步骤可以略过。这里假设没有安装。如果没有安装Hadoop，请访问Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04,依照教程学习安装即可。注意，在这个Hadoop安装教程中，就包含了Java的安装，所以，按照这个教程，就可以完成JDK和Hadoop这二者的安装。
安装spark详细步骤
蹊源的奇思妙想的博客
08-27 2303
Spark具有从存储在HDFS或者HadAPI(Hive、HBase等)中的任何文件创造分布式弹性数据集的能力。 Spark的调度方式有： yarn-cluster 适合生产场景 yarn-client 有互动需求 local 小规模本地运算 Spark+Hadoop 的结合能够提供内存级性能的企业级应用的威力。 安装前准备： 名称 版本 JDK...
安装spark的详细步骤
dyk2200364978dyk的博客
05-08 1040
<div id="asideProfile" class="aside-box"> <div class="profile-intro d-flex"> <div class="avatar-box d-flex justify-content-center flex-column"> <a href="https://blog.csdn.net/penyok" data-report-click="{&a...
Spark安装及配置详细步骤
cingdy0124的博客
09-16 984
解压scala、spark： tar -zxvf scala-2.11.8.tgz tar -zxvf spark-2.4.4-bin-hadoop2.6.tgz 配置环境变量(master、slave1、slave2分别执行)： export SCALA_HOME=/usr/local/src/scala-2.11.8 export SPARK_HOME=/usr/local/src/spark-2.4.4-bin-hadoop2.6 export
配置spark可能遇到的问题及其他相关配置
qnstar_的博客
09-24 227
【问题1】pyspark+pycharm 配置 【解决方法】 https://blog.csdn.net/u012884015/article/details/80105921 PYTHONPATH /usr/local/spark/python SPARK_HOME /usr/local/spark 【问题2】修改python3为python 【解决方法】 vim ~/.bashrc alias python=python3 source ~/.bashrc 【问题3】在spark中配置python环境
Spark 核心概念介绍与安装
weixin_42232931的博客
03-26 2495
1 Spark概述 1）spark是什么？ 1. 速度 基于流式计算速度要比hadoop快100倍左右，离线计算比mr快速10倍左右 2. 易用 spark提供了超过80个高阶算子供给我们使用，并支持非常多的编程语言：Java\Scala\R\Python... 3. 通用性 提供了几乎大数据分析中的所有的技术栈：离线：spark core，sql：spark sql、图计算、机器学习等等 4. 随处运行 支持yarn、standalone、mesos、kebernates.... 5. 说人话
spark安装手册
Siobhan_Mxin的博客
02-22 306
spark安装教程
CentOS7安装配置Tomcat8.5.34教程
"本资源详细介绍了在CentOS7系统上安装和配置Tomcat 8.5.34的过程，包括下载Tomcat、创建安装目录、上传安装包、解压、配置环境、修改防火墙规则以及启动和关闭Tomcat服务器。" 在CentOS7上安装和配置Apache Tomcat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大白菜程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值