Windows下Spark开发环境的搭建

最新推荐文章于 2024-04-15 21:40:55 发布
最新推荐文章于 2024-04-15 21:40:55 发布
阅读量215 收藏
点赞数 1
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74394437/article/details/134907627
版权
本文详细介绍了如何在Windows系统上下载、安装Java，然后下载并解压Spark，配置自定义Spark环境，包括创建spark-env.sh文件、设置环境变量，以及最后通过命令行验证Spark的安装。
摘要由CSDN通过智能技术生成

1.下载和安装Java

        在安装Spark之前，需要先安装Java。可以从Oracle官网下载Java安装程序，或者使用操作系统自带的包管理器安装Java。

2. 下载和解压Spark

        从Spark官网下载最新版本的Spark，解压到任意目录（我是解压到D盘下)

3.配置Spark，创建一个自定义的Spark环境配置文件

   进入spark文件夹中的conf中，将spark-env.sh.template复制一份，将文件名修改为spark-env.sh

4.配置环境变量

将Spark的bin目录添加到系统的PATH环境变量中，以便可以在任意目录下运行Spark命令。

属性中进入高级系统设置，

进入path路径下编辑路径

5.验证spark的安装

win+R 输入cmd  进入cmd命令行中，输入spark-shell

Xiao木 屋
关注
Spark环境搭建-Windows
qq_47844519的博客
07-06 2224
spark Windows搭建
Spark的这些事<一>——Windows下spark开发环境搭建
数据一哥，公众号：数据社
07-18 2335
一、首先准备需要安装的软件 scala-2.10.4 下载地址：http://www.scala-lang.org/download/2.10.4.html scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64 下载地址：http://scala-ide.org/ spark-1.6.2-bin-hadoop2.6 下载地址：http://spar
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3393
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
Spark在Windows下的环境搭建
weixin_42382758的博客
03-22 342
参考
Spark在Windows环境下的搭建
Simon的博客
03-11 6536
一、安装JDK 本文写于2022年3月，此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要，Oracle仍然提供了JDK8和JDK11可供下载，下载链接也在上面的网站上，只需要把页面下滑即可。 注：由于需要配置Spark，但Spark与较新的JDK兼容性不好，如果使用最新的JDK，后序运行Spark过程中会出现错误。因此，建议初学者安装JDK8即可。 下载完成后即可安装。但需要注意的是，需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH，网上已经有很多
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
Spark在Windows下的环境搭建方法
10-16
在Windows环境下搭建Spark的环境是一项涉及多个软件安装和配置的过程。...可以在命令行中输入“spark-shell”，如果能进入Spark的交互式命令行环境，则表示搭建成功，可以开始进行Spark开发工作了。
spark的windows开发环境搭建
weipanp的专栏
04-14 2322
Spark1.2.1开发环境搭建(适合windows环境) 更多0 1.环境准备 下载scala并安装，最好下载imsi版直接双击安装 2.IDEA的安装 官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免费，用户可以选择合适的版本使用。 根据安装指导安装IDEA后，需要
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
windows下spark开发环境搭建
maenlai0086的博客
01-04 304
本文重点介绍在Windows下开发spark应用程序的依赖环境的搭建，其次也会针对supermap iobjects for spark产品的入门程序开发介绍。在实际配置当中遇到报错可以在评论区交流。 一、环境 Windows 10 64位系统 jdk-8u151-windows-x64.tar.gz [官网下载jdk1.8，安装并配置JAVA_HOME和path环境变量] iobjectsj...
Windows搭建Spark开发环境
zengxingyuluo的博客
06-26 217
一、下载 官网下载：spark-2.4.6-bin-hadoop2.7.tgz 二、安装 1.解压 2.环境变量 3.启动 # 启动 spark-shell # 退出 :quit
windows下搭建spark开发环境
学习进步
07-09 290
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://m...
windows配置spark开发环境
最新发布
chaney的博客
04-15 2004
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
Windows 安装配置 PySpark 开发环境（详细步骤+原理分析）
bboy枫亭的博客
09-22 2643
文章目录1.Python开发Spark的环境配置详细步骤1.1 Windows 配置 python 环境变量1.2 Windows 配置 spark 环境变量1.3 Python中安装py4j1.4 Python中安装PySpark模块WordCount 测试环境是否配置成功2. Python 开发 Spark原理 1.Python开发Spark的环境配置详细步骤 1.1 Windows 配置 python 环境变量 这个比较简单，安装原生的 Python 或者 Anaconda 都可以，至于步骤这里就不多
windows 10 下搭建本地spark环境
buside的博客
02-01 274
1、安装jdk环境 2、spark安装与配置 官网网址http://spark.apache.org/downloads.html 选择下载版本https://archive.apache.org/dist/spark/ 这里我选择的是spark-2.4.0，百度网盘链接：https://pan.baidu.com/s/1Hj6qt3iDQYCetlgTmUiukg ，提取码：1234 复制这段内容后打开百度网盘手机App，操作更方便哦 下载好版本后，解压至目录，并配置环境变量，设置path为C.
spark大数据入门（一）如何在windows下部署spark开发环境
热门推荐
HAHA的专栏
12-07 1万+
spark机器学习：        spark现如今在大数据领域有着很重的地位，lz最喜欢的是基于spark之上的机器学习，也就是MlIB，这是基于分布式环境下的机器学习的开发库，简单的来说就是开发及机器学习的API。稍微的提及一下，分布式环境下的机器学习算法的开发，算法核心原理并不会发生变化，但是由于是大量的数据，我们需要的是注意如何减小系统IO流的压力。举个例子来说，我们知道随机森林下面会涉
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xiao木 屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值