win10安装spark及其环境配置

最新推荐文章于 2024-04-15 21:40:55 发布
最新推荐文章于 2024-04-15 21:40:55 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： spark scala 大数据 jdk hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43750611/article/details/119214758
版权
本文详细介绍了如何在Windows 10系统中安装和配置Spark开发环境，包括下载JDK、Hadoop、Spark及Scala，并设置相应的环境变量。最后通过在命令行中运行`spark-shell`来验证安装是否成功。
摘要由CSDN通过智能技术生成

win10安装spark及其环境配置

所需安装包

  1. JDK + 环境配置
  2. Hadoop + 环境配置
  3. Spark + 环境配置
  4. Scala + 环境配置

1. JDK

jdk官网下载：根据自己电脑环境来选择版本安装，博主自己安装的是jdk13（以前就装好的）
然后在环境变量中添加路径：

  1. 新增
    变量名：JAVA_HOME
    变量值： jdk安装路径

在这里插入图片描述

  1. 变量名： CLASSPATH
    变量值：%JAVA_HOME%\lib
  1. Path 中添加：%JAVA_HOME%\bin

2. Hadoop

Hadoop官网下载：根据自己需求下载对应版本
解压Hadoop安装包需要用管理员权限来解压

在环境变量中
新增 变量名：HADOOP_HOME
变量值： Hadoop安装路径


在Path 中添加：%HADOOP_HOME%\bin

3. Spark & Scala

spark官网下载
scala官方下载
由于spark不同版本有自己对应的scala的版本，在下载spark和scala时需要找好对应一致的版本下载

在环境变量中
新增 变量名：SPARK_HOME
变量值： spark安装路径


在Path 中添加：%SPARK_HOME%\bin
%SPARK_HOME%\sbin

(spark和scala 版本对应关系)
在这里插入图片描述
请添加图片描述

验证是否成功

在cmd中输入命令：spark-shell
可以看到spark安装成功：
请添加图片描述

T_Donna
关注
专栏目录
hadoop+spark+mongodb+mysql+c#
霍力强的专栏
11-30 2633
一、前言     从20世纪90年代数字化医院概念提出到至今的20多年时间，数字化医院（Digital Hospital)在国内各大医院飞速的普及推广发展，并取得骄人成绩。不但有数字化医院管理信息系统（HIS)、影像存档和通信系统（PACS)、电子病历系统（EMR)和区域医疗卫生服务（GMIS)等成功实施与普及推广，而且随着日新月异的计算机技术和网络技术的革新，进一步为数字化医院带来新的交互渠
大数据项目实践：基于hadoop+spark+mongodb+mysql开发医院临床知识库系统
dotNET跨平台
08-22 2206
本文是一个.NET解决方案中结合大数据的需求，实践之后所写，所以总觉得东西都比较简单，我只期望本文能达到抛转引用的作用，能对同行做相关工作的朋友们有所参考，思路可以得到借鉴。
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
window10 安装spark
恨_别离的博客
05-29 318
要安装spark需要先安装java、scala、hadoop、之后才能安装spark 下载spark文件：spark-2.4.5-bin-hadoop2.7.tgz 然后解压 配置环境变量：SPARK_HOME 配置path 然后cmd打开执行spark-shell可以验证是否成功 ...
windows 10 安装 spark 环境（spark 2.2.1 + hadoop2.7）
12-19 7645
安装步骤基本参考 Spark在Windows下的环境搭建。不过在安装新版本 spark2.2.1（基于 hadoop2.7）的配置时，略略有一些不同。1. sqlContext => spark.sqlContext在启动日志中未出现，SQL context available as sqlContext.也不足为奇，因为在新版本的 spark 中 sqlContext 对象已封装进 Spark s
Spark Windows10 安装
BlueProtocolBlog
12-07 1969
在我们安装Spark之前，由于Spark基于Scala的，所以我们需要先安装Scala。  ，这里先说明一下Spark与Scala版本之间的问题，在Spark的官网中有这样一句话：Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides additional pre-built distribution with Scala 2.13.   这个看一下就懂了，如果我们安装Spark3版本的我们需要先安装
win10简单安装spark
爱听许嵩歌的博客
07-21 6045
win10安装spark 安装步骤分为java, hadoop, scala和 spark四步。 一、Java环境搭建 首先从网站 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载匹配Windows x64的JDK安装文件。之后按流程一步步安装即可。最后修改系统环境变量。 右键我的电脑—属性—-高级系统设置就会看到下面的界面： 新建JAVA_HOME环境变量，变量值为jdk的安装目
win 10下spark的安装及配置
haokelaicds的博客
04-11 5715
一级标题 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录步骤一、jdk配置二、Hadoop配置三、Spark配置四、scala安装五、运行测试 步骤 提示：以下是本篇文章正文内容，下面案例可供参考 一、jdk配置 在jdk官网中下载与自己电脑相应配置的jdk。 点击电脑的设置——>关于——>高级系统设置——>环境变量中配置jdk环境变量。 点击新建，输入下图中的变量名称，变量值填写你自己安装的jdk目录路径。建好后点击确定 在系统变量中添加 变量名
Spark在Win10下的环境搭建
冥更的博客
11-14 1286
本教程是参考另一个博客完成的，中间解决了一些其他问题，相同部分我就直接复制参考博文，文中大部分贴图不是我按照的版本，不需要对应版本号。 参考博客：https://blog.csdn.net/songhaifengshuaige/article/details/79480491 前言 本章将介绍如何在WIN10下实现spark环境搭建。 本章概要 1、版本说明 2、环境准备： jdk配置； s...
win10安装spark流程
NJYR21的博客
05-12 4835
win10安装spark流程说明安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。一、安装JDK官网下载了8u172版本。点击打开链接安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。打开cmd键入java -version，看到如下界面说明java安装成功。二、安装scala官网下载了msi格式，并安装成功。点击打开链接增加pat...
java+hadopp+scala+spark配置win10版
09-25
总之，配置Java、Hadoop、Scala和Spark的Windows 10环境涉及多个步骤，包括安装、配置环境变量、编辑配置文件以及安装IDE插件。这需要一定的耐心和对技术的理解，但一旦完成，你将拥有一个强大的本地开发环境，可以...
SparkLocalTest：基于IDEA的Win10本地开发测试Spark IDE工程
02-21
这包括下载Apache Spark及其依赖的Hadoop版本，并配置环境变量。SparkLocalTest项目表明，它是一个本地测试环境，意味着我们不需要完整的Hadoop集群，只需配置`SPARK_HOME`和`HADOOP_CONF_DIR`即可。将Spark解压到...
第五次作业1
08-03
首先，我们需要搭建一个win10系统上的开发环境，包括安装Scala、Spark和Hadoop。完成环境搭建后，可以通过访问`http://127.0.0.1:4040/jobs/`来监控Spark作业的运行状态，确保环境配置成功。 接着，我们需要配置...
window 10下 Spark 安装简单使用
weixin_40759186的博客
03-03 810
文章目录安装虚拟机管理软件vagrant:安装VirtualBox, vagrant默认使用VirtualBox:使用windows的powershell:进入centos, 安装jdk:安装spark:运行spark:测试spark: 安装虚拟机管理软件vagrant: https://www.vagrantup.com/downloads.html 安装VirtualBox, vagrant...
windows10环境安装spark-3.0.3-bin-hadoop2.7
TF666666的博客
09-01 9424
@[TOC]（windows10环境安装spark-3.0.3-bin-hadoop2.7和遇到的问题） 前言 星光不问赶路人，时光不负有心人。 刚刚接触spark，安装环境就暗了两天，目前遇到的问题，下面一一会有说明，希望能给到大家帮助，其中会用到其他人的博客，有的可能忘记标记引用，如看到，可以联系本人，进行及时更改 一、spark安装需要安装的相关的？ 1.JDK安装（不会的网上有很多）本人安装的是Java 1.8.0_291 2.下载Hadoop_2.7.1 3.下载下载hadooponwindows
win10安装spark
Lonely_Devil的博客
10-25 718
一、进入spark下载页面连接。
windows配置spark开发环境
最新发布
chaney的博客
04-15 1709
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
win10下安装spark，并应用pycharm成功初始化pyspark
qq_41913216的博客
12-08 754
1.下载jdk 1.8 2.下载scala ，我的版本是2.11.12，因为spark会显示支持的scala版本 3.下载hadoop，我用的是2.8.5版本，一定要注意bin文件中下载好winutils.exe 4.下载spark 2.3.0，我用2.4.0怎么都不成功，也不知道为啥 好了，准备工作完成了，主要是在环境变量的配置方面。右键‘我的电脑’——>属性——>高级系统设置，打...
spark安装及环境配置（win10）
还没想好的博客
10-25 2781
本人环境：win10 以下所有安装包均打包在百度网盘中，可以下载使用 需要安装的包： Jdk Hadoop Spark Scala JDK: 下载官网 往下拉，选择JAVA SE 8 根据选择自己需要的版本号，本人下载的是jdk-8u211-windows-x64 环境变量配置 Scala: 下载网址 本人下载的是2.13.3版本的 环境变量配置： 下载后即配置好，无需再配置 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值