Spark的Windows本地化部署完整方案

已于 2022-09-01 11:32:00 修改
阅读量3.2k 收藏 20
点赞数 5
文章标签： spark windows scala
于 2022-09-01 09:57:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41936572/article/details/126636382
版权

前言

对于Spark，网上涉及到Windows平台搭建的资料不多。大多资料不全，而且很少说明注意事项，存在一定的挖坑行为。对于不是很熟悉spark环境搭建过程，但是又非常想在自己的电脑上搭建一个本地环境的小伙伴来说存在一定的绕路行为。本文借鉴了网上大部分的资料，在整理集成的同时，会以一次完整的环境搭建过程为演示内容。

借鉴文章

环境

  • 操作系统： Windows 10 x64
  • 集成环境： 管理员模式运行的VSCode
  • Python版本： 3.10.4 (env)
  • JAVA SDK： 1.8.0
    • 注意本文默认已安装JAVA，如未安装JAVA请提前安装。安装时注意路径不要有空格。
    • 安装spark环境之前，需要检查环境变量JAVA_HOME以及path内java路径一定不要有空格。如果有空格，就需要修改JDK路径。具体方法本文不再赘述，请查阅JAVA改路径相关资料。改完之后还要记得更新path。
    • 注意，本文是在本地环境部署Spark。

步骤

Spark环境强调版本依赖，所以搭建最重要的一环就是版本管理。Spark环境由下面四个工程组成：

ProjectDownload Url
Sparkhttps://spark.apache.org/downloads.html
Hadoophttps://archive.apache.org/dist/hadoop/common/
Scalahttps://www.scala-lang.org/download/all.html
winutils-masterhttps://github.com/cdarlint/winutils

这里面，Spark会决定Scala和Hadoop的版本；而Hadoop又会受到winutils-master版本的影响。他们的关系可以用下图表示：

决定
决定
决定
Spark
Hadoop
Scala
winutils-master

一、确定版本

1.1 确定winutils-master版本

通过访问winutils-master的download url，可获取目前为止所有的winutils-master版本。
网页
假定我们选择最新的版本：

  • Hadoop 3.2.2/bin

它的名称就是所兼容的Hadoop版本，是不是很贴心。

1.2 确定Hadoop版本

上一步给出了兼容的Hadoop版本为version<=3.2.2。
在这里插入图片描述

  • Hadoop 3.2.2

接下来由它确定兼容的Spark版本。注意，暂时不要下载任何文件，因为我们不确定这个版本是不是最终需要的版本。

1.3 确定Spark版本

Spark主页用多个关联控件的形式帮助我们确定版本。
在这里插入图片描述

  • Spark release = 3.1.3

上面是我选择的版本，主页显示它兼容Hadoop3.2 and later。注意，暂时不要下载任何文件，因为我们不确定这个版本是不是最终需要的版本。

1.4 确定Scala版本

先不要关闭上一步的页面，留意页面中的这句话：

Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides additional pre-built distribution with Scala 2.13

他提示我们兼容的的Scala version = 2.12。这就方便了我们寻找最后一个工程的版本号码。注意，暂时不要下载任何文件，因为我们不确定这个版本是不是最终需要的版本。
在这里插入图片描述

  • Scala release = 2.12

二、下载各个版本

通过访问上文列表中各个工程的download url，将全部工程下载到本地的某个文件夹里面。

  • winutils-master下载办法：点击github右上角的Code，选择Download ZIP，将整个仓库文件夹下下来，然后取需要的版本。

我假设所有文件都存放于C:\Users\zhhony\Downloads\，这个路径无所谓，记得就行。
在这里插入图片描述

三、安装

准备工作

  • 首先准备一个文件夹，用于存储Spark的环境文件。注意路径不要有中文，不要有空格:
    • Spark环境建议路径： D:\Spark_env
  • 其次给Hadoop工程准备一组文件夹，用于存储Hadoop运行产生的文件。注意路径不要有中文，不要有空格:
    • Hadoop仓库建议路径： D:\tmp
    • Hadoop仓库建议子路径： D:\tmp\dfs\data
    • Hadoop仓库建议子路径： D:\tmp\dfs\name

3.1 安装Scala

  1. 按照本文步骤下载的Scala将是一个.msi文件，直接双击安装，把默认安装路径改到环境文件夹D:\Spark_env的下面。
    在这里插入图片描述

  2. 在操作系统环境变量中新添加一个变量SCALA_HOME = D:\Spark_env\scala\bin：
    在这里插入图片描述

  3. 同时修改操作系统的Path变量，新增一个D:\Spark_env\scala\bin。如果系统已经建好了这个值就不用再建了：
    在这里插入图片描述

安装完成之后，重新开启一个CMD，输入scala命令，如果显示如下，则表示安装成功：

Welcome to Scala 2.12.0 (OpenJDK 64-Bit Server VM, Java 1.8.0_332).
Type in expressions for evaluation. Or try :help.

scala>

3.2 安装Spark

  1. 将下载的spark-3.1.3-bin-hadoop3.2.tgz直接解压，解压后会有一个spark-3.1.3-bin-hadoop3.2文件夹，将这个文件夹整体搬运到D:\Spark_env下。
    在这里插入图片描述

  2. 去到文件夹下面的python里，将pyspark搬运到python库目录里(pyspark.egg-info存在则也搬过去)。库目录的寻找方法本文不再赘述，可以查阅相关资料。库目录一般路径是：

     C:\Users\{youraccount}\AppData\Local\Programs\Python\Python38\Lib\site-packages

  3. 在操作系统环境变量中新添加一个变量SPARK_HOME = D:\Spark_env\spark-3.1.3-bin-hadoop3.2：

    在这里插入图片描述

  4. 同时修改操作系统的Path变量，新增一个%SPARK_HOME%\bin：
    在这里插入图片描述

  5. 这一步，如果电脑用户名含有下划线_，则需要多加一个环境变量SPARK_LOCAL_HOSTNAME = localhost。加的方法参考上文。

    同时，去spark的bin文件夹下寻找spark-shell.cmd，右键编辑，在@echo off下面加一行SPARK_LOCAL_IP=127.0.0.1

3.3 安装Hadoop

  1. 将下载的hadoop-3.2.2.tar.gz直接解压，解压后会有一个hadoop-3.2.2文件夹，将这个文件夹整体搬运到D:\Spark_env下。
    在这里插入图片描述

  2. 在操作系统环境变量中新添加一个变量HADOOP_HOME = D:\Spark_env\hadoop-3.2.2，加的方法可以参考Spark环节。

  3. 同时修改操作系统的Path变量，新增一个%HADOOP_HOME%\bin，加的方法可以参考Spark环节。

3.4 安装winutils-master

将下载的winutils-master.zip直接解压，解压后寻找hadoop-3.2.2\bin文件夹，将这个文件夹里面的文件，整体搬运到D:\Spark_env\hadoop-3.2.2\bin下，直接覆盖原文件。

winutils-master\hadoop-3.2.2\bin  --copy-->   D:\Spark_env\hadoop-3.2.2\bin

四、配置修改

  1. 在操作系统环境变量中新添加一个变量PYSPARK_PYTHON，用于指定python解释器路径，这一步请参考上文环境变量的修改方法来。下面是我的例子：

     PYSPARK_PYTHON = D:\WorkShop\python\.env\Scripts\python.exe # 我的解释器放在虚拟环境里，和默认路径不一样

  2. 通过pip install py4j命令在python中安装py4j库，pip的使用这里不再赘述。

五、Hadoop配置专项修改

  1. 编辑hadoop-3.2.2\etc\hadoop文件夹下的core-site.xml文件，将下列文本放入<configuration> </configuration>标签内并保存:

     <property>
     <name>hadoop.tmp.dir</name>
     <value>/D:/tmp</value>
 </property>
 <property>
     <name>dfs.name.dir</name>
     <value>/D:/tmp/name</value>
 </property>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>

  2. 编辑hadoop-3.2.2\etc\hadoop文件夹下的mapred-site.xml文件，将下列文本放入<configuration> </configuration>标签内并保存:

     <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>
 <property>
    <name>mapred.job.tracker</name>
    <value>hdfs://localhost:9001</value>
 </property>

  3. 编辑hadoop-3.2.2\etc\hadoop文件夹下的hdfs-site.xml文件，将下列文本放入<configuration> </configuration>标签内并保存:

     <property>
     <name>dfs.replication</name>
     <value>1</value>
 </property>
 <property>
     <name>dfs.data.dir</name>
     <value>/D:/tmp/data</value>
 </property>

  4. 编辑hadoop-3.2.2\etc\hadoop文件夹下的yarn-site.xml文件，将下列文本放入<configuration> </configuration>标签内并保存:

     <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

  5. 鼠标右键编辑hadoop-3.2.2\etc\hadoop文件夹下的hadoop-env.cmd文件，将JAVA_HOME用@rem注释掉，改为系统环境变量中JAVA_HOME变量的路径，然后保存。类似于下面这样:

    @rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Java\jdk1.8.0_181

六、格式化Hadoop

  1. 管理员模式运行cmd窗口，执行hdfs namenode -format。如果提示是否重新格式化，输入y；
  2. 管理员模式运行cmd窗口，切换到hadoop的sbin目录，执行start-all，启动Hadoop。弹出的四个窗口不出现shutdown说明启动成功。
    到这一步实际上环境就已经搭建完毕了。需要hive的小伙伴可以继续尝试搭建hive。

七、尝试在python中启动spark

管理员模式运行cmd窗口，键入命令pyspark，显示如下内容表示启动成功

Python 3.10.4 (tags/v3.10.4:9d38120, Mar 23 2022, 23:13:41) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.1.3
      /_/

Using Python version 3.10.4 (tags/v3.10.4:9d38120, Mar 23 2022 23:13:41)
Spark context Web UI available at http://localhost:4040
Spark context available as 'sc' (master = local[*], app id = local-1661958484812).
SparkSession available as 'spark'.
>>>

也可以按导入包的模式启动spark

>>> from pyspark import sql
>>> spark = sql.SparkSession.builder.enableHiveSupport().getOrCreate()
>>> l = [('Alice', 1)]
>>> spark.createDataFrame(l).collect()
[Row(_1='Alice', _2=1)]
大尾巴鱼_root
关注
hadoop组件---spark理论----spark on k8s模式的三种方式全面了解
直到世界的尽头
01-19 5831
我们在之前的文章中 已经了解了 spark支持的模式，其中一种就是 使用k8s进行管理。 hadoop组件—spark----全面了解spark以及与hadoop的区别 是时候考虑让你的 Spark 跑在K8s 上了 spark on k8s的优势–为什么要把Spark部署在k8s上 大数据和云计算一直分属两个不同的领域。大数据主要关注怎么将数据集中起来，挖掘数据的价值；云计算主要关注怎么更高效地...
Spark环境搭建-Windows
03-27
Spark环境搭建-Windows
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3403
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
Hadoop Windows 工具包
最新发布
gitblog_09758的博客
09-06 421
Hadoop Windows 工具包 winutils-master.zip项目地址:https://gitcode.com/open-source-toolkit/75c84 简介 本仓库提供了一个名为 winutils-master.zip 的资源文件，其中包含了 Hadoop 各版本的 hadoop.dll 和 winutils 工具。这些文件是运行 Hadoop 在 Windows 操作...
ASP.Net本地化/国际化解决方案原理和代码示例
weixin_33853827的博客
09-09 202
解决方案原理：ASP.NET本地化支持 通过 CultureInfo 类可以访问区域设置的属性。此外，ASP.NET 基于每个线程和请求跟踪默认区域性的两个属性：用于区域设置相关函数默认值的 CurrentCulture，和用于区域设置特定的资源数据查找的 CurrentUICulture。 解决方案主要包含几个部分组成：1：客户设置语言的控件，一般会包含在每个页面，使得用户可以随时切换区域控件a...
windows下安装spark
weixin_30299539的博客
04-20 146
1、安装jdk 2、安装scala 3、下载spark spark下载地址 3.1安装spark 将下载的文件解压到一个目录，注意目录不能有空格，比如说不能解压到C:\Program Files 作者解压到了这里， 将spark的bin路径添加到path中 cmd输入spark-shell，成功安装啦，有个报错是因为还没安装Hadoop， 4、安装hadoop 由于spark版本...
Spark Windows
杨航的专栏
08-07 302
　本文主要是讲解Spark在Windows环境是如何搭建的 一、JDK的安装 1、1 下载JDK 　　首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads。 　　上图中两个用红色标记的地方都是可以点击的，点击进去之后可以看到这个最新版本的一些更为详细的信息，如下图所示： 　　下载完.
容器化部署：使用Docker搭建spark集群
容器化部署是一种利用容器技术将应用程序及其依赖项打包成一个独立可运行的单元，并将其部署到不同的环境中的方法。容器化部署可以提供更高的灵活性、可移植性和可扩展性，使开发人员能够快速部署和更新应用程序，...
spark报错java.net.UnknownHostException真正之解决方案
技术笔记
12-26 1万+
今天在AWS上部署spark时，发现报错: java.net.UnknownHostException
win10家庭版安装docker并搭建完全分布式hadoop集群、spark集群
qq_43034505的博客
11-23 1585
docker在windows10的专业版和家庭版上的安装方法有很大的不同，本文是基于win10家庭版进行的安装。 一、docker的安装 1、查看系统版本 右击“此电脑”→“属性”，确认是家庭版win10。 2、下载DockerToolbox 进入下载地址，点击下载DockerToolbox-18.03.0-ce.exe 3、安装 双击exe文件，按照默认选项进行安装即可，结束后出现下图的三个应用。 打开 Docker Quickstart Termina.
Spark安装配置（本地模式、伪分布式、集群模式--standalone,yarn模式）
weixin_47134119的博客
05-07 1996
Spark安装配置 文章目录Spark安装配置2.1 Spark安装2.2 本地模式2.3 伪分布式2.4 集群模式--Standalone模式2.4.1 Standalone 配置2.4.2 运行模式(cluster / client) 2.1 Spark安装 官网地址：http://spark.apache.org/ 文档地址：http://spark.apache.org/docs/latest/ 下载地址：http://spark.apache.org/downloads.html 下载Spa
spark_2_8_3 windows版
02-26
以龟速从官网下载的spark windows版，放这里供大家使用
【Spark】Windows下安装Spark（亲测成功安装）
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
Spark运行环境——Windows模式
weixin_52948205的博客
10-11 1842
Spark运行环境——Windows模式
Spark在Windows环境下的搭建
Simon的博客
03-11 6540
一、安装JDK 本文写于2022年3月，此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要，Oracle仍然提供了JDK8和JDK11可供下载，下载链接也在上面的网站上，只需要把页面下滑即可。 注：由于需要配置Spark，但Spark与较新的JDK兼容性不好，如果使用最新的JDK，后序运行Spark过程中会出现错误。因此，建议初学者安装JDK8即可。 下载完成后即可安装。但需要注意的是，需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH，网上已经有很多
本地化部署大模型方案二：fastchat+llm(vllm)
huiguo_的博客
01-23 1万+
FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。FastChat 为 Chatbot Arena ( https://chat.lmsys.org/ ) 提供支持，为 50 多名法学硕士提供超过 600 万个聊天请求。Arena 从并列的 LLM 比赛中收集了超过 10 万个人投票，编制了在线LLM Elo排行榜。最先进模型的训练和评估代码（例如，Vicuna、MT-Bench）。
windows中安装Spark
蓝色格子ren的博客
07-27 6274
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
windows下spark的安装
xhaoDream的博客
10-14 1300
windows下spark的安装 首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。 选择的环境如下： jdk1.8+scala2.10.2+hadoop2.7.4+spark2.4.4 一、 scala安装 scala安装包下载： 链接：https://pan.baidu.com/s/1HLsFBhXWazuKxGpgF8xP1Q 提取码：g0zi 安装后cmd输入sca...
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
热门推荐
sheex2012的博客
04-26 2万+
本文以Stable Diffusion为例，由难及易演示了手动、自动和整合包三种部署方式，并分析了这三种方式在虚拟环境创建、程序部署、数据下载部署等复杂动作的具体过程，为一键式自动部署提供了良好的借鉴，进一步促进AIGC的普惠应用。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大尾巴鱼_root

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值