【亲测】windows 10 下安装spark

最新推荐文章于 2023-11-06 16:58:47 发布
VIP文章 最新推荐文章于 2023-11-06 16:58:47 发布
阅读量1.3w 收藏 30
点赞数 4
分类专栏： 科学计算 文章标签： windows spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaoqiwaimai/article/details/59114881
版权

原文:
http://mp.weixin.qq.com/s/CIq8hCfnDWtIYPzO8XygBw

一.【前言】

  最近想要学习spark，所以打算在windows 10笔记本上搭建单机版spark环境，练习spark的基本使用。在此过程中遇到了许多头疼的问题，经过多方查询资料，总算搭建好了，具体流程梳理如下，希望能给你一些启示或是帮助。

二.【工具准备】

这里写图片描述

具体如下：
1. java: JDK 8u121 with NetBeans 8.2，你也可以下载单独的JDK 8u121，不带有IDE NetBeans 8.2
http://www.oracle.com/technetwork/java/javase/downloads/jdk-netbeans-jsp-142931.html

这里写图片描述

2.sp

最低0.47元/天 解锁文章
沈万三爱搬砖
关注
  • 4
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark踩坑记——windows环境下spark安装和运行
热门推荐
蚂蚁搬家
08-10 5万+
本文主要记录windows系统上安装spark，scala，和intelj IDEA，并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala，spark，hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好需要的scala，spark，hadoop版本信息，构建时自动导入相应依赖，常用于企业级的项目开发中......
spark环境搭建window篇
weixin_43626356的博客
11-01 1581
Win10安装Spark
Windows下安装Spark（亲测成功安装）
tttzzzqqq2018的博客
08-02 6605
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
windows搭建spark环境
qq_25091649的博客
10-21 3676
windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装
windows10搭建spark本地开发环境
besmarterbestronger的博客
01-29 5087
注意：Spark3.0、Spark3.1是由Scala2.12预编译，但是Spark 3.2+是采用Scala 2.13预编译。
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3297
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
Spark运行环境——Windows模式
weixin_52948205的博客
10-11 1667
Spark运行环境——Windows模式
windows下搭建spark开发环境
queen123444的博客
12-24 1543
windows下spark开发环境搭建
window环境下安装spark
定期分享我的发现和想法，感谢你的陪伴和支持
04-04 3676
window环境下安装spark 这个非常成功 https://zhuanlan.zhihu.com/p/149469688
pycharm windows spark 环境的安装
10-19
在windows下配置spark环境，并读取hdfs文件，anconda spark pycharm
Windows下idea运行spark程序相关的hadoop2.7.3插件工具 hadoop.dll winutils.exe
04-05
github下载的hadoop2.7.3-on-windows_X64-master.zip，亲测可用！
PyCharm搭建Spark开发环境实现第一个pyspark程序
12-31
通常情况下，Spark开发是基于Linux集群的，但这里作为初学者并且囊中羞涩，还是在windows环境下先学习吧。 参照这个配置本地的Spark环境。 之后就是配置PyCharm用来开发Spark。本人在这里浪费了不少时间，因为百度...
hadoop2.2 下hive的安装
09-04
亲测能装，不能装请留言。前提是要在hadoop2.2已经安装好的情况下。
win10-netcat-win32-1.12（无病毒）.zip
04-01
Win10 系统下安装NatCat，亲测OK。下载后查看使用指导即可
Spark的Windows本地化部署完整方案
大尾巴鱼的博客
09-01 3036
对于Spark，网上涉及到Windows平台搭建的资料不多。大多资料不全，而且很少说明注意事项，存在一定的挖坑行为。对于不是很熟悉spark环境搭建过程，但是又非常想在自己的电脑上搭建一个本地环境的小伙伴来说存在一定的绕路行为。本文借鉴了网上大部分的资料，在整理集成的同时，会以一次完整的环境搭建过程为演示内容。.........
Windows10系统spark3.0.0配置
最新发布
lzq_tarena的专栏
11-06 981
不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。从Apache官网下载Hadoop：https://hadoop.apache.org/官方下载网址：https://www.scala-lang.org/
Spark在Windows环境下的搭建
Simon的博客
03-11 6339
一、安装JDK 本文写于2022年3月，此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要，Oracle仍然提供了JDK8和JDK11可供下载，下载链接也在上面的网站上，只需要把页面下滑即可。 注：由于需要配置Spark，但Spark与较新的JDK兼容性不好，如果使用最新的JDK，后序运行Spark过程中会出现错误。因此，建议初学者安装JDK8即可。 下载完成后即可安装。但需要注意的是，需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH，网上已经有很多
在Windows上的安装 Spark
lengyudexin的博客
12-28 1307
安装Java 8或更高版本 要在windows上安装Apache Spark，你需要Java 8或最新的版本，因此从 Oracle 下载Java版本并安装在你的系统上。如果你想要OpenJDK，你可以从这里 下载.它。 下载后，双击下载的文件，以便在您的windows系统上安装它。选择任何自定义目录或保持默认位置。 注意：这是以Java 8上安装Apache Spark为例，同样的步骤也适用于Java 11和13版本。 Apache Spark在Windows上的安装 Apache Spark是以压缩的t
在windows环境下安装spark
03-16
在Windows环境下安装Spark，可以按照以下步骤进行： 1. 下载Spark安装包：从官网下载Spark的二进制包，选择对应的版本和操作系统。 2. 安装Java：Spark需要Java环境支持，因此需要先安装Java。 3. 解压Spark...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值