Windows 安装Spark 环境

最新推荐文章于 2024-06-04 11:19:43 发布
最新推荐文章于 2024-06-04 11:19:43 发布
阅读量365 收藏 1
点赞数 2
分类专栏： Bigdata 文章标签： Bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BoomLee/article/details/88946432
版权

1.下载地址 使用国内镜像源，下载速度大大提升

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/

2.配置环境

解压到指定目录

添加环境变量

SPARK_HOME

内容为解压的目录 

C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\

Path 里 添加

%SPARK_HOME%\bin;%SPARK_HOME%\sbin

验证  cmd spark-shell

BoomLee
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
pycharm windows spark 环境的安装
10-19
在windows下配置spark环境，并读取hdfs文件，anconda spark pycharm
windows搭建spark环境
qq_25091649的博客
10-21 3823
windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装
spark下载太慢，网上找的国内源
最新发布
qq_64319049的博客
06-04 250
清华软件源：
windows下安装spark运行环境
ambitionless的专栏
04-03 455
scala运行环境安装 jdk安装 jdk安装1.8，详细安装过程省略，路径最好不带空格，不然会导致后面hadoop安装失败 scala安装 安装scala2.11（2.12spark包maven仓库中找不到） hadoop安装 github地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/b...
window环境下安装spark
定期分享我的发现和想法，感谢你的陪伴和支持
04-04 3923
window环境下安装spark 这个非常成功 https://zhuanlan.zhihu.com/p/149469688
win7 安装spark环境
AntKengElephant的博客
06-01 497
前提条件： jdk：java -version scala：scala java-1.8 scala-2.11 安装好并且配置好环境变量 官网下载spark版本 对应的hadoop下载解压 解压后启动进入spark-shell交互环境 出现找不到winutils 去https://github.com/steveloughran/winutils 下载将winutils替换到...
Spark在Windows下的环境搭建方法
10-16
主要介绍了Spark在Windows下的环境搭建方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Windows下安装spark-hadoop步骤
01-20
本章将介绍如何在Windows下实现spark环境搭建。 本章概要 1、版本说明 2、环境准备： jdk配置； spark安装与配置； hadoop安装与配置； IDEA的安装与配置 版本说明 jdk：1.8 spark：2.4.5 hadoop：2.7.1 我把的...
Spark环境搭建-Windows
03-27
本文将指导您在 Windows 平台上搭建 Spark 环境，包括 JDK、Scala、Hadoop、Python 和 Spark 的安装和配置。 Python 的安装与配置 Python 是 Spark 的依赖项之一，需要安装 Python 3.7.2 版本。在安装 Python 时，...
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
【DT-BigData】Spark-1.6.0.tgz
08-20
Spark-1.6.0.tgz
docker-spark-stand-alone：Spark 2.4.7独立docker镜像
02-13
Docker Spark独立 概括 Spark 2.4.7独立docker映像 这是的Docker映像 要求 包裹 版本 python3 3.8.5 码头工人 20.10.2 码头工人组成 1.27.4 火花 2.4.7 怎么跑 该映像可用于使用 安装docker-compose 运行docker-compose up 。 ~ /projects/personal/docker-spark-stand-alone$ sudo docker-compose up Creating spark-worker-1 ... done Creating spark-master ... done Attaching to spark-worker-1, spark-master spark-worker-1 | 2021-01-17 04:29:42,210 INFO work
Windows下单机安装Spark开发环境
tianyeshiye
02-08 294
机器：windows 10 64位。Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk，我安装的是jdk 1.8，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.8”，视自己安装路劲而定。同时在系统变量Path下添加C:\Program Files\Java\jdk1.8\bin和C:\Program Files\...
在Windows下搭建Spark环境
共勉
04-26 1071
安装jdk配置jdk环境变量 参考：单击前往 安装Scala及配置 在官网当中进行下载：https://www.scala-lang.org/ 单击download后，可以在最下面看到版本信息：选择Scala的msi版本，单击下载。 下载完成后单击运行就会进入到安装界面，一直下一步安装即可。 在cmd当中需要看一下输入scala后是否可以进行scala； 如果不能进入，大概就是在安装的时候没...
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
spark的Windows本地安装
qq_49824182的博客
10-12 856
spark的Windows本地安装
windows本地搭建spark学习环境
qq_38899062的博客
01-11 734
windows本地搭建spark学习环境
windows配置spark开发环境
chaney的博客
04-15 1330
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
在windows环境下安装spark
03-16
在Windows环境下安装Spark，可以按照以下步骤进行： 1. 下载Spark安装包：从官网下载Spark的二进制包，选择对应的版本和操作系统。 2. 安装Java：Spark需要Java环境支持，因此需要先安装Java。 3. 解压Spark安装包：将下载的Spark安装包解压到指定的目录下。 4. 配置环境变量：将Spark的bin目录添加到系统的环境变量中。 5. 验证安装：打开命令行窗口，输入spark-shell命令，如果能够正常启动Spark Shell，则说明安装成功。 需要注意的是，在Windows环境下安装Spark可能会遇到一些问题，比如路径中含有空格、权限不足等，需要根据具体情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值