window下安装单机的spark

最新推荐文章于 2024-08-07 22:17:24 发布
最新推荐文章于 2024-08-07 22:17:24 发布
阅读量658 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010720408/article/details/94876941
版权
在Windows环境下，安装Spark单机版不需要Hadoop。确保已安装Java 8和Scala，然后从Apache官网下载spark-2.4.3-bin-hadoop2.6.tgz并解压。设置SPARK_HOME环境变量并添加到PATH。通过运行`spark-shell`验证安装，成功显示Spark和Scala版本即完成安装。
摘要由CSDN通过智能技术生成

前提条件：java 8、scala已经安装完毕

而hadoop得安装是需要yarn管理或访问hdfs分布式文件集群时才需要安装，单机版可以考虑不安装hadoop，仅仅安装spark

spark官网：http://spark.apache.org/downloads.html 

 

下载完spark-2.4.3-bin-hadoop2.6.tgz 后直接解压文件即可，

然后设置环境变量：SPARK_HOME=F:\devlopSoftwareDeploy\spark-2.4.3-bin-hadoop2.6 和PATH追加设置;%SPARK_HOME%\bin

 

我是都设置在用户变量中，设置到系统变量也是可以的，系统变量中需要重启才能生效。

 

验证安装成功，cmd命令输入：spark-shell, 等待一段时间，最终能出现spark版本何scala就是成功，至于前面的错误是hadoop未安装，单机并不影响代码提交

百物易用是苏生
关注
专栏目录
2 | Window 搭建单机 Hadoop 和Spark
微信号：RunsenLiu
09-01 787
搭建单机 Hadoop 和 Spark 环境可以学习和测试大数据处理的基础知识。在开始之前，请确保你已经安装了 Java 开发工具包（JDK），并且已经下载了 Hadoop 和 Spark 的最新版本。你可以从官方网站或镜像站点获取它们。
Windows下安装Spark（亲测成功安装）_windows spark，真香
2401_84166702的博客
04-13 849
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 [2]。现在形成一个高速发展应用广泛的生态系统。
Spark——在Windows单机安装spark
Tubby的博客
03-12 3082
Windows安装spark下载安装Java，安装版本为8下载spark安装包下载Hadoop支持包下载并安装pycharm和anaconda配置pycharm运行spark环境spark读取本地文件格式： 下载安装Java，安装版本为8 Java8下载地址 安装教程详见：菜鸟教程—Java安装 下载spark安装包 spark2.3.3下载地址 建议安装2.3.3版本，高版本的2.4.0在运行时...
安装spark1.3.1单机环境
apple01010105的博客
04-27 155
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分： （1）环境准备 （2）安装scala （3）安装spark （4）验证安装情况 1、环境准备 （1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala ...
Spark 单机和集群环境部署教程
最新发布
qq_42568323的博客
08-07 1466
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
Windows下单机安装Spark开发环境
weixin_34409741的博客
02-25 291
机器：windows 10 64位。 因Spark支持java、python等语言，所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.7.0_79”，视自己安装路劲而定。 ...
spark windows 单机 安装
designpc的专栏
07-10 3689
0目标 单机windows上，运行spark 1  前期准备 jdk 1.7  2  下载spark 包 官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark，spark-1.6.2-bin-hadoop2.6，spark1.6.2,内嵌hadoop2.6，不要要without的 解压到D:\softwar
Win10 单机版spark安装
weixin_43723625的博客
05-13 502
1. 安装JDK1.8 介绍：JDK(Java Development Kit) 是 Java 语言的软件开发工具包(SDK). 在JDK的安装目录下有一个jre目录，里面有两个文件夹bin和lib，在这里可以认为bin里的就是jvm，lib中则是jvm工作所需要的类库，而jvm和 lib合起来就称为jre。 https://jingyan.baidu.com/article/48b37f8d231ca61a65648869.html (安装教程) 安装前，可以检查一下自己的电脑是否之前有安装。通过命
Spark单机版安装及配置（win10）
Trista的博客
10-21 2591
写在前面： 本篇博文记录在win10上安装spark单机版的过程，需要安装的软件有：Java JDK、Scala、Hadoop、Spark，本次安装的版本以及版本之间的对应要求如下： 在安装之前，新建一个spark文件夹，除了java之外其他软件都放在这个文件夹下，方便管理。 1 安装java 1.1 查看java是否安装及版本信息 如果已经安装了java,需要查看版本，Java版本最好是1.8或者11，查看方法，使用cmd打开命令行，输入java -version： 1.2 下载安装java 如果不
Centos下Spark单机版（python）安装配置
BigBang的博客
12-22 2167
Apache Spark是快速、易于使用的框架，允许你解决各种复杂的数据问题，无论是半结构化、结构化、流式、或者机器学习、数据科学。它已成为大数据方面最大的开源社区之一，拥有来自250多个组织的超过1000个贡献者。
Spark基础及安装（单机）
qq_43012693的博客
10-30 555
目录Spark和MapReduce对比安装包下载Spark安装与文件部署Spark的启动 Spark和MapReduce对比 MapReduce编程模型的局限性 繁杂 只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码 处理效率低 Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据 任务调度与启动开销大 不适合迭代处理、交互式处理和流式处理 Spark的优势 Spark是类Hadoop MapReduce的通用并行框架 Job中间输出结果可以保存在内存，不
Spark Standalone 单机版部署
10-17
Spark standalone 单机版部署，看了网上很多方法，事实证明都是错误的，本人亲身经历，在导师的指导下，成功配置成功单机版。
spark的单机和集群安装与配置
12-09
这是我根据自己的经验，一步步写的，写的比较完整哦，希望能帮到各位小伙伴
window环境下安装spark
定期分享我的发现和想法，感谢你的陪伴和支持
04-04 4055
window环境下安装spark 这个非常成功 https://zhuanlan.zhihu.com/p/149469688
在windows中搭建spark单机版
slibra_L的博客
09-07 3068
虽然要学习spark，选择linux的版本更合适，之前在台式机上配置了centos的虚拟机并安装了hadoop和spark，可是无奈笔记本性能不行，如果安装虚拟机会很卡，所以只能在windows中安装spark加以练习 1.1、jdk安装 安装Oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk...
单机安装spark
yuleicqut的专栏
11-26 798
1. 下载 spark 解压： mkdir /opt/spark tar zxvf spark-2.2.0-bin-hadoop2.7.tgz mv spark-2.2.0-bin-hadoop2.7 /opt/spark/ 修改/etc/profile文件，在文件末尾添加: export SPARK_HOME=/opt/spark/spark-2.2.0-bin-hadoop
Spark单机安装
欢迎订阅 -- 小源笔迹
04-30 431
spark安装，Spark支持运行在Yarn或者Mesos上，同时也提供自己的资源管理系统，即Standalone模式．为了方便本地开发，Spark提供了Local运行模式．不同的环境的开发代码是相同的，只是在提交到不同的调度系统时参数不同而已．
Window系统下Hadoop和Spark部署配置文件
例如，可以将spark-defaults.conf文件中的spark.master设置为local，以便在单机模式下运行Spark。 在 Window 系统中部署Hadoop和Spark需要一定的技术和经验，但是一旦成功部署后，用户可以使用Hadoop和Spark来处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值