win10搭建spark3.1环境（超详细）

最新推荐文章于 2024-06-18 10:34:22 发布
原创 最新推荐文章于 2024-06-18 10:34:22 发布 · 6.9k 阅读 · 34 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scala #spark #大数据

本文详细介绍了如何在Windows上搭建Spark 3.1.3和Hadoop 3.2.1的环境，包括Java、Scala的安装与配置，以及winutils的获取。每个步骤都提供了下载链接和具体操作指南，适合初学者跟随操作。在搭建完成后，通过运行`spark-shell`验证了环境的正确性。

目录

0.写在前面

目前Spark官方提供的最新版本3.2.0，是2021年10月份发布，但是该版本搭建Windows下环境，在使用spark-shell时，会报错，尚无解决方案（不知道现在解决没有）。所以我安装的是3.1版本
所使用的到的版本
spark 3.1.3
hadoop 3.2.1
scala 2.12 (注意，spark3.1.2不支持Scala2.13）
java 1.8
使用到的链接
scala官方下载
spark官方下载
hadoop官方下载
winutils下载
另所有使用的东西我都打包到
链接：https://pan.baidu.com/s/1fFEZmqUWZks-Hh5LkKRVww
提取码：1152

1.java环境

这里建议安装java8 不要装太高或者太低的版本
去官网上下载好 双击
在这里插入图片描述
点击下一步

最低0.47元/天 解锁文章
Win10下安装Spark（Python+Local版+非虚拟机版）
PyQuant
03-26 1375
由于大部分学生用的都是windows系统，而且博主也是windows系统，所以想在win10上安装Spark学习大数据分析，于是开始搜索相关的文章，通过亲自挖坑Spark学习发现大多博文都比较混乱（但是自己却学会了相关很多知识），结合实际情况博主认为大家有一下四类需求（因为博主比较熟悉Python，所以只分析Python语言版，至于Scala语言版可以查询相关文献资料）： （1）Win10下安装Spark（Python+Local版+非虚拟机版）：Local版即单机版，也就是说用户无需集群版（事实上，仅仅做
spark（二）：本地安装
幻神舞的专栏
10-15 851
说明 本博客每周五更新一次。 本文介绍win10系统下spark安装，通过安装辅助理解spark。 分享 大数据博客列表 安装模式 spark有四种安装模式，具体如下： 模式名称 说明 单机模式 单台机器部署，主要用于开发测试 Standalone模式 多台机器构建Master+Slave的Spark集群，任务运行在spark集群中，数据量不多推荐使用。 Spark On yarn Spark任务提交到hadoop集群yarn上，不需要额外构建Spark集群 Spark
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
win 10下spark的安装及配置
haokelaicds的博客
04-11 5873
一级标题 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录步骤一、jdk配置二、Hadoop配置三、Spark配置四、scala安装五、运行测试 步骤 提示：以下是本篇文章正文内容，下面案例可供参考 一、jdk配置 在jdk官网中下载与自己电脑相应配置的jdk。 点击电脑的设置——>关于——>高级系统设置——>环境变量中配置jdk环境变量。 点击新建，输入下图中的变量名称，变量值填写你自己安装的jdk目录路径。建好后点击确定 在系统变量中添加 变量名
windows安装spark
最新发布
weixin_41046245的博客
06-18 872
在 Windows 上安装 Spark 并进行配置需要一些步骤，包括安装必要的软件和配置环境变量。
Windows上配置Spark(2)：导入Spark
TVXQ_xy的博客
12-11 1091
接着我的上一篇来咯一、新建项目 打开Intellij IDEA，新建项目： 图1 根据你自己的需要选择non-sbt，或scala之类的（这里我也不甚明了）。然后取名字、确定存放路径等二、配置 1、添加Scala SDK 这里假设已经按照我上一篇博客所说，安装了scalaxxx.msi，并配置好了环境变量。 建好项目后，点击“File”–>“Project Structure”，出现
win10下Spark的环境搭建
weixin_33937913的博客
08-19 241
win10下Spark的环境搭建 2018-08-19 18:36:45 一、jdk 1.8.0 安装与配置 二、scala 2.11.8 安装与配置http://www.scala-lang.org/download/2.11.8.html 上面两步见《win10下安装scala》 三、spark 2.3.0 安装与配置 1、下载spark:官网地址：http://spa...
window10 安装spark
恨_别离的博客
05-29 401
要安装spark需要先安装java、scala、hadoop、之后才能安装spark 下载spark文件：spark-2.4.5-bin-hadoop2.7.tgz 然后解压 配置环境变量：SPARK_HOME 配置path 然后cmd打开执行spark-shell可以验证是否成功 ...
基础架构系列篇-基于win10安装SPARK3与HADOOP环境
hudongdong2020的博客
02-20 700
基础架构系列篇-基于win10安装SPARK3与HADOOP环境(这里版本是 spark-3.1.2 hadoop-3.2.0) 目录1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)2.下载安装hadoop (按SPARK版本选择)3. 测试查看 1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz) 地址: http://spark.apache.org/downloads.html https://dow
Spark单机版安装及配置（win10）
Trista的博客
10-21 2788
写在前面： 本篇博文记录在win10上安装spark单机版的过程，需要安装的软件有：Java JDK、Scala、Hadoop、Spark，本次安装的版本以及版本之间的对应要求如下： 在安装之前，新建一个spark文件夹，除了java之外其他软件都放在这个文件夹下，方便管理。 1 安装java 1.1 查看java是否安装及版本信息 如果已经安装了java,需要查看版本，Java版本最好是1.8或者11，查看方法，使用cmd打开命令行，输入java -version： 1.2 下载安装java 如果不
window10搭建pyspark（基于spark-3.0.0-bin-hadoop2）.docx
09-04
window10搭建pyspark的两种方法（基于spark-3.0.0-bin-hadoop2） 方法一： 最最简便的方法就是直接pip install pyspark 如果安装出现timeout，可以下载pyspark-3.0.0.tar，然后离线安装 方法：cd进入pyspark-3.0.0.tar解压的目录，里面有个setup.py 然后运行命令：python setup.py install, 等待安装完成，所以的环境问题都一次帮你解决完。
Spark MLlib 环境搭建超详细教程
xxubing123的专栏
01-16 2156
文章目录1、系统及环境版本2、环境下载2.1 Spark 下载2.2 hadooponwindos 下载2.3 Hadoop 下载2.4 JDK下载2.5 IntelliJ IDEA2.6 scala 下载2.7 IntelliJ-scala plug 下载http://plugins.jetbrains.com/plugin/1347-scala 选择版本下载 下载完毕之后，应该有以下7个文件：...
spark环境搭建java_Spark MLlib 环境搭建超详细教程
weixin_31181381的博客
02-16 673
1、系统及环境版本系统：Win7 旗舰版 64位 sp1JDK：1.8.0Spark：2.3.2Hadoop：2.7Scala：2.11.8文章最后，有所有版本的下载链接，不用再去折腾版本之间的问题。2、环境下载2.1 Spark 下载spark2.2 hadooponwindos 下载image.png2.3 Hadoop 下载image.png2.4 JDK下载略2.5 IntelliJ ID...
win10简单安装spark
爱听许嵩歌的博客
07-21 6239
win10安装spark 安装步骤分为java, hadoop, scala和 spark四步。 一、Java环境搭建 首先从网站 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载匹配Windows x64的JDK安装文件。之后按流程一步步安装即可。最后修改系统环境变量。 右键我的电脑—属性—-高级系统设置就会看到下面的界面： 新建JAVA_HOME环境变量，变量值为jdk的安装目
windows10环境安装spark-3.0.3-bin-hadoop2.7
TF666666的博客
09-01 9800
@[TOC]（windows10环境安装spark-3.0.3-bin-hadoop2.7和遇到的问题） 前言 星光不问赶路人，时光不负有心人。 刚刚接触spark，安装环境就暗了两天，目前遇到的问题，下面一一会有说明，希望能给到大家帮助，其中会用到其他人的博客，有的可能忘记标记引用，如看到，可以联系本人，进行及时更改 一、spark安装需要安装的相关的？ 1.JDK安装（不会的网上有很多）本人安装的是Java 1.8.0_291 2.下载Hadoop_2.7.1 3.下载下载hadooponwindows
Spark 安装与卸载 (windows 10)
人month神话
05-10 9593
文章目录先决条件系统要求安装步骤Java安装步骤：（已安装可跳过）测试Java安装：（已安装可跳过）测试安装结果：从Windows 10系统中卸载Spark：删除系统/用户变量步骤： Apache Spark是一个快速通用的集群计算系统。它提供了Java、Scala、Python和R语言的高级API，拥有优化了的通用图计算引擎。它还拥有丰富的其他高级工具，如：用于SQL和结构化数据处理的Spark SQL 、用于机器学习的MLlib、用于图计算的GraphX、以及用于流式批处理的Spark Streamin
Spark Windows10 安装
BlueProtocolBlog
12-07 2174
在我们安装Spark之前，由于Spark基于Scala的，所以我们需要先安装Scala。  ，这里先说明一下Spark与Scala版本之间的问题，在Spark的官网中有这样一句话：Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides additional pre-built distribution with Scala 2.13.   这个看一下就懂了，如果我们安装Spark3版本的我们需要先安装
Win 10 安装Spark
andy.cao的博客
05-05 512
windows 10 安装hadoop，使用spark 报错 null\bin\winutils.exe
Windows10安装spark（包括hadoop安装）
小白白的博客
11-24 3344
（作者：陈玓玏） 环境安装 命令行中输入java –version，看是否能正确输出版本信息，不能则需要安装，可以自己搜索一下Windows下java环境的安装。 Scala安装 下载地址：http://www.scala-lang.org/download/2.11.8.html 下载安装后配置路径，在环境变量的系统变量path中添加以下链接： 在命令行输入scala，能够输出版本信息即安装...
"Win10下Spark本地IDEA环境搭建教程详解
在win10操作系统上，搭建Spark本地idea环境是一项非常方便的操作，特别适合进行spark及scala本地开发调试。为了实现这一目标，可以参考以下步骤： 第一步：安装OpenJDK8 首先，需要下载OpenJDK8的安装包，可以访问...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值