win10搭建spark3.1环境（超详细）

最新推荐文章于 2024-04-26 22:07:12 发布
最新推荐文章于 2024-04-26 22:07:12 发布
阅读量3k 收藏 18
点赞数 3
分类专栏： SPARK 文章标签： scala spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42364307/article/details/127382942
版权

目录

0.写在前面

目前Spark官方提供的最新版本3.2.0，是2021年10月份发布，但是该版本搭建Windows下环境，在使用spark-shell时，会报错，尚无解决方案（不知道现在解决没有）。所以我安装的是3.1版本
所使用的到的版本
spark 3.1.3
hadoop 3.2.1
scala 2.12 (注意，spark3.1.2不支持Scala2.13）
java 1.8
使用到的链接
scala官方下载
spark官方下载
hadoop官方下载
winutils下载
另所有使用的东西我都打包到
链接：https://pan.baidu.com/s/1fFEZmqUWZks-Hh5LkKRVww
提取码：1152

1.java环境

这里建议安装java8 不要装太高或者太低的版本
去官网上下载好 双击
在这里插入图片描述
点击下一步
在这里插入图片描述
选择你指定的目录 选取下一步 进行安装
在这里插入图片描述
这里我安装到了 D:\Java
记得配置环境！！！
win10 搜索环境变量 点击环境变量
在这里插入图片描述
新建变量 JAVA_HOME 注意大写
在这里插入图片描述
点击编辑 path 新建java环境
在这里插入图片描述
完成以后 进行检验
打开cmd 输入 java -version
在这里插入图片描述
这样即可

2.安装scala

要注意的问题scala的版本要和spark版本对应 这里我安装的scala 2.12
点击链接 滑到下面 点击
在这里插入图片描述
往下滑 选择.msi的文件下载安装，会自动在系统中添加环境变量。
在这里插入图片描述
查看是否已经安装变量 （查看是否有SCALA_HOME 和path里面是否已经添加变量）
在这里插入图片描述
在这里插入图片描述
没有的话 请补充
完成以后 进行检验
打开cmd 输入 scala
在这里插入图片描述

3.安装spark

还记得前面的scala与spark对应
这里安装3.1版本
打开链接
注意标红线的地方 进行下载
在这里插入图片描述
解压
在这里插入图片描述
同样的 我们要配置环境 如下图
在这里插入图片描述
path 当中环境
在这里插入图片描述
其实 改成%SPARK_HOME%\bin 一样的 前面也是

4.安装hadoop

根据之前的
我们 安装 hadoop3.2.1 下载链接
在这里插入图片描述
据说tar.gz是编译好的，不需要我们再做编译，包括前面选择也是gz。
![在这里插入图片描述](https://img-blog.csdnimg.cn/4c5ae32b29704765a6b10820b35ac56e.png
在这里插入图片描述下载，解压到指定目录下
在这里插入图片描述同样的 我们要配置环境 如下图
在这里插入图片描述
在path环境中新建
在这里插入图片描述
打开cmd
输入 hadoop version
在这里插入图片描述

5.安装winutils

链接如下（上文也有）
https://github.com/cdarlint/winutils
我们进行下载对应版本
在这里插入图片描述
把这个文件放到hadoop的bin下
在这里插入图片描述
完成

6.测试程序

打开cmd
输入 spark-shell
在这里插入图片描述
完成

纵深
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
PyCharm搭建Spark开发环境实现第一个pyspark程序
09-19
主要介绍了PyCharm搭建Spark开发环境实现第一个pyspark程序，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
PyCharm搭建Spark开发环境的实现步骤
09-18
主要介绍了PyCharm搭建Spark开发环境的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Windows 下 Spark+Hadoop+Scala 安装
z69183787的专栏
12-08 2169
整体流程可参考，但文中的版本较低 Spark学习笔记--Spark在Windows下的环境搭建 - 法号阿兴 - 博客园 (cnblogs.com)https://www.cnblogs.com/xuliangxing/p/7279662.html首先需要对应好 三者的版本，本文安装的版本如下 Spark 版本：spark-3.1.2-bin-hadoop3.2.tgz 链接：Apache Downloadshttps://www.apache.org/dyn/closer.lua/spark/sp
Spark3.1.2单机安装部署
花菜回锅肉的博客
07-08 3516
spark3.1.2 单机安装部署 概述 Spark是一个性能优异的集群计算框架，广泛应用于大数据领域。类似Hadoop，但对Hadoop做了优化，计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代运算的算法场景中。 Spark专注于数据的处理分析，而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。 大数据问题场景包含以下三种： 复杂的批量数据处理 基于历史数据的交互式查询 基于实时数据流的数据处理 Spark技术栈基本可以解决以上三种场景问题。 下载 下载
Python搭建Spark分布式集群环境
09-19
主要介绍了Spark分布式集群环境搭建基于Python版，Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。100 倍本文而是使用三台电脑来搭建一个小型分布式集群环境安装,需要的朋友可以参考下
windows10搭建spark本地开发环境
besmarterbestronger的博客
01-29 4887
注意：Spark3.0、Spark3.1是由Scala2.12预编译，但是Spark 3.2+是采用Scala 2.13预编译。
Spark Windows10 安装
BlueProtocolBlog
12-07 1848
在我们安装Spark之前，由于Spark基于Scala的，所以我们需要先安装Scala。  ，这里先说明一下Spark与Scala版本之间的问题，在Spark的官网中有这样一句话：Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides additional pre-built distribution with Scala 2.13.   这个看一下就懂了，如果我们安装Spark3版本的我们需要先安装
spark（二）：本地安装
幻神舞的专栏
10-15 622
说明 本博客每周五更新一次。 本文介绍win10系统下spark安装，通过安装辅助理解spark。 分享 大数据博客列表 安装模式 spark有四种安装模式，具体如下： 模式名称 说明 单机模式 单台机器部署，主要用于开发测试 Standalone模式 多台机器构建Master+Slave的Spark集群，任务运行在spark集群中，数据量不多推荐使用。 Spark On yarn Spark任务提交到hadoop集群yarn上，不需要额外构建Spark集群 Spark
win10简单安装spark
爱听许嵩歌的博客
07-21 5884
win10安装spark 安装步骤分为java, hadoop, scala和 spark四步。 一、Java环境搭建 首先从网站 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载匹配Windows x64的JDK安装文件。之后按流程一步步安装即可。最后修改系统环境变量。 右键我的电脑—属性—-高级系统设置就会看到下面的界面： 新建JAVA_HOME环境变量，变量值为jdk的安装目
Win10 安装配置 Hadoop 及 Spark
梅西上身的博客
04-17 936
Win10 配置 Hadoop 及 Spark
hadoop与spark环境搭建.pdf
07-27
linux端的hadoop和spark环境搭建： Linux环境设置 1设置固定IP（静态） 2新增oracle用户 3设置oracle用户拥有root用户的命令 4设置网络映射 5关闭防火墙 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:86:1B:2A TYPE=Ethernet UUID=5d721d4a-f95b-4268-b88d-bb7bcb537dd6 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.192.100 GATEWAY=192.168.192.2 DNS1=192.168.192.2 [root@hadoop100 ~]# passwd oracle 更改用户 oracle 的密码 。 新的 密码：123456 无效的密码： 过于简单化/系统化 无效的密码： 过于简单 重新输入新的 密码：123456 passwd： 所有的身份验证令牌已经成功更新。 vim /etc/sudoers ## Allow root to run any commands anywhere root ALL=(ALL) ALL oracle ALL=(ALL) ALL
win10下的Spark本地idea环境搭建教程.docx
04-02
win10下的Spark本地idea环境搭建教程，适合spark及scala本地开发调试。
Spark基础环境搭建.pdf
12-09
Spark基础环境搭建
02.Scala简单演示
m0_52474839的博客
04-26 209
*******
spark实验求TOP值
m0_64825044的博客
04-24 901
已知存在两个文本文件，file1.txt和file2.txt，内容分别如下：file1.txtfile2.txt以上两个文件所存储的数据字段的意义为：orderid, userid, payment, productid。
06_Scala流程控制
最新发布
m0_52474839的博客
04-26 264
scala流程控制
Scala Extention
qq_73347678的博客
04-23 377
Scala Extention。 正则、隐式类、异常处理、类型信息处理
Scala的函数至简原则
一群专业码农的笔记本
04-20 633
scala 函数简化
Spark java.io.NotSerializableException
Aidon博客
04-24 458
Spark core将数据写入MySQL，出现Caused by: java.io.NotSerializableException: com.mysql.cj.jdbc.DatabaseMetaData异常，解决数据反序列化问题，本文将使用两种方案解决其具体问题。
idea搭建spark开发环境完整版（windows）
06-06
搭建Spark开发环境需要以下步骤： 1. 安装Java JDK：下载Java JDK并安装，配置环境变量。 2. 下载Spark：从官网下载Spark，解压到本地目录。 3. 配置Spark环境变量：在系统环境变量中添加SPARK_HOME和PATH两个变量。 4. 安装Hadoop：如果需要使用Hadoop，需要先安装Hadoop并配置环境变量。 5. 配置Spark配置文件：在Spark目录下找到conf目录，将spark-env.sh.template复制一份并重命名为spark-env.sh，编辑该文件，设置SPARK_MASTER_IP和SPARK_LOCAL_IP等参数。 6. 启动Spark：在命令行中输入spark-shell或spark-submit命令启动Spark。 7. 验证Spark：在Spark命令行中输入示例代码，验证Spark是否正常工作。 以上就是搭建Spark开发环境的完整步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值