Windows 搭建 Spark

最新推荐文章于 2024-04-15 21:40:55 发布
最新推荐文章于 2024-04-15 21:40:55 发布
阅读量315 收藏 1
点赞数
分类专栏： Data Analysis 文章标签： spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XzzF1024/article/details/103806815
版权
本文详细介绍了在Windows 10上搭建Spark环境的步骤，包括Java、Scala、Hadoop和pyspark的安装与配置。针对每个组件，提供了下载来源、环境变量设置和验证安装成功的操作方法，特别提到了解决Spark安装中winutil.exe和hadoop.dll的问题。
摘要由CSDN通过智能技术生成

Windows 中 Spark 环境搭建

环境：Win10 + Java (1.8.0_231) + Scala (2.12.10) + Hadoop (2.7.7) + Spark (spark-2.4.4-bin-hadoop2.7)

Java 环境与安装

Oracle 官网 下载 JDK_8u231 (Java 8) ；

Oracle 官网账号分享 (来自于网络)：

Oracle 帐号：2696671285@qq.com，密码：Oracle123

安装后新建环境变量 JAVA_HOME：Java_Install_Path\jdk1.8.0_231 ；

添加 %JAVA_HOME%\bin 到环境变量 Path 中 (没有就新建) ；

系统变量或者用户变量应该都行，可以了解一下系统变量和用户变量的区别。

Tips：Java8 好像不用配置 classpath 变量了。

在 cmd 输入 java -version 检查 Java 是否安装成功，出现类似下图表示安装成功：

最低0.47元/天 解锁文章
XzzF1024
关注
专栏目录
Windows环境下配置Spark3.0.0
QYHuiiQ
10-08 725
如果双击的时候是闪了一下，那么说明安装成功。至此，Spark的环境就搭建好了。
windows搭建spark开发环境
feyman1120的博客
04-11 901
windows搭建spark开发环境 windows搭建spark开发环境 windows搭建spark开发环境 windows搭建spark开发环境 windows搭建spark开发环境
Spark学习笔记--Spark在Windows下的环境搭建
a261505的博客
08-03 347
　　本文主要是讲解Spark在Windows环境是如何搭建的 一、JDK的安装 1、1 下载JDK 　　首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads。 　　上...
在Windows系统上搭建spark环境
qq_35090060的博客
11-29 186
过程参考 https://blog.csdn.net/u011521890/article/details/78577582 安装jdk（注意与spark版本对应，不要用太旧的版本） 安装scala 安装spark（要与jdk版本兼容） 安装hadoop（要与spark版本对应） 下载winutils.exe（要与hadoop版本对应） 例如，你安装的hadoop版本是2.7.5；那么你应当去下载...
Spark在Windows下的环境搭建
weixin_42073629的博客
06-06 950
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Hadoop的下载和配置，Spark的安装。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变量的设置 安装很简单，就不再详述 二. Scala的安装 　　首先从DOWNLOAD PREVIOUS..
【spark】windows spark 环境搭建
sowhat
10-15 700
Windows平台环境搭建 JDK 1.8-8u201 Scala 2.11.8 spark 2.2.0 hadoop 2.7.2 sbt 0.13.13.1 上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用，链接：https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码：mnml ...
（windows）虚拟机搭建spark
huitailangZz的博客
09-23 3728
对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，
Spark在Windows下的环境搭建方法
10-16
在Windows环境下搭建Spark的环境是一项涉及多个软件安装和配置的过程。首先需要准备JDK（Java Development Kit），接着安装Scala，之后下载Spark本身，并设置好系统变量，最后为了更好地运行Spark环境，还需要配置...
windows下安装hadoop所需要的winutil
06-03
这是hadoop在windows上运行所需要的组件，欢迎大家下载并使用
windows7 搭建 Spark 详细图解
zhouzhiwengang的专栏
10-21 2251
第一步：下载Spark.exe 可执行程序，程序的下载地址：http://www.igniterealtime.org/downloads/index.jsp#openfire 如果遇到spark 无法正在安装的情况，可以参考该文章：安装Spark 客户端 提示"the install4j wizard could not find a java(TM) Runntime......“
windows配置spark开发环境
最新发布
chaney的博客
04-15 1784
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
window10 安装spark
恨_别离的博客
05-29 321
要安装spark需要先安装java、scala、hadoop、之后才能安装spark 下载spark文件：spark-2.4.5-bin-hadoop2.7.tgz 然后解压 配置环境变量：SPARK_HOME 配置path 然后cmd打开执行spark-shell可以验证是否成功 ...
如何在windows下搭建spark环境（收藏不迷路）
weixin_38003620的博客
03-02 818
一、下载安装操作 1、下载安装jdk8(jdk1.8版本): 下载地址(需要oracle账号) https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 本地点击exe文件安装，安装目录为C:\java 2、下载安装scala 下载地址：https://www.scala-lang.org/download/2.11.12.html 本地点击msi文件安装，安装目录为D:\scala 3、下载安装hadoop 下载
理想国windows搭建spark+hadoop大数据开发环境教程
Python私教
01-23 249
01.简介 在python中使用pyspark并不是单纯的导入pyspark包就可以实现的。需要由不同的环境共同搭建spark环境，才可以在python中使用pyspark。 搭建pyspark所需环境： python3，jdk，spark，Scala，Hadoop（可选） 02.jdk下载安装 下载地址：联系作者从百度网盘下载 打开Windows中的环境变量： 创建JAVA_HOME：C:\Program Files\Java\jdk1.8.0_181 创建CLASSPATH：.;%JAVA_HOME%
windows下spark部署图文教程（从零到一）2021.8.6
qq_53045284的博客
08-06 2331
本人用到spark是因为在课程中老师要求用spark对大数据进行处理。直接上教程，希望可以帮大家少踩一些坑。 spark是建立在hadoop的基础上的，安装部署spark需要你已经安装部署了hadoop，spark的安装比hadoop简单些。版本最好是对应的，这样兼容性比较好。 spark的下载 官网下载链接Downloads | Apache Spark 进入官网你会看到这样一个界面 点击我圈住的红色部分可以选择对应的版本，然后橙色部分会变成对应的版本下载链接，点击该链接进入如下界面 .
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
搭建Spark开发环境：JDK、Scala、Hadoop与Spark Shell详解
本文档主要介绍了如何在Windows环境下搭建Spark开发环境，包括JDK、Scala、Hadoop以及Spark本身的安装和配置。以下是详细的步骤和要点： 1. **JDK环境**: - JDK1.8的安装可能会覆盖之前安装的JDK1.6，需要注意的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值