Windows本地搭建Spark开发环境

最新推荐文章于 2025-03-11 20:45:06 发布
最新推荐文章于 2025-03-11 20:45:06 发布
阅读量1.5w 收藏 38
点赞数 2
分类专栏： 大数据之Spark篇 文章标签： Spark Hadoop Scala 本地搭建Spark开发环境 Windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32653877/article/details/81913648
版权

作者：翁松秀

Windows系统下搭建Spark开发环境三步曲，简单粗暴，走你┏ (゜ω゜)=☞
[TOC]

Step1：安装Spark

到官网http://spark.apache.org/downloads.html选择相应版本，下载安装包。我这里下的是2.1.3版本，后面安装的Hadoop版本需要跟Spark版本对应。下载后找个合适的文件夹解压即可。我是新建了一个home文件夹，底下放了三个文件夹，分别是spark, hadoop, scala。
这里写图片描述
解压之后配置环境变量，将Spark底下的bin文件所在的目录添加到环境变量的Path变量中，后面Hadoop也一样。
这里写图片描述
然后打开cmd进行测试，输入spark-shell，如果出现如下的”Spark”说明安装成功。
这里写图片描述
OK, Welcome to Spark!

Step2： 安装Hadoop

到http://mirrors.hust.edu.cn/apache/hadoop/common/下载相应版本的Hadoop安装包，我下的是2.7.7。具体的Spark和Hadoop版本对应可以到网上查，Spark和Hadoop版本不一致可能会导致出问题。
这里写图片描述
将下载好的安装好进行解压，然后将Hadoop底下的bin目录配置到Path变量中。
为了防止运行程序的时候出现nullpoint异常，到github下载hadoop.dll和winutils.exe 下载地址：https://github.com/steveloughran/winutils
找到对应的hadoop版本，然后进入bin目录下，下载hadoop.dll和winutils.exe, 然后复制到所安装hadoop目录下。
到官网https://www.scala-lang.org/download/下载镜像，然后安装即可。一般默认会自动配置好环境变量。安装好之后打开cmd测试，输入scala，如果出现以下内容则安装成功。
这里写图片描述
如果没有成功，检查一下Path环境变量，如果安装之后没有自动配置，则手动配置，参照Spark的环境配置。

Step3： 安装IDEA

Spark开发有两种方式，一种是用内置的spark-shell，另一种是独立应用开发，独立应用开发支持的语言有Java、Scala、Python和R语言。如果采用Java语言进行Spark开发，需要配置Maven，最新版的Eclipse和IntelliJ都内置Maven，所以采用Eclipse和IntelliJ来开发Spark是比较方便的。

IntelliJ安装参考教程
https://blog.csdn.net/qq_35246620/article/details/61200815

Eclipse安装参考教程
https://jingyan.baidu.com/article/d7130635194f1513fcf47557.html

windows下spark环境搭建
yiguagua的博客
01-05 302
在windows下spark的环境搭建步骤如下： 下载 jdk-8u131-windows-x64.exe。若安装路径为E:\Java\，则增加如下的环境变量： JAVA_HOME=E:\Java\jdk1.8.0_131 CLASSPATH=.;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\bin; PATH中增加%J...
windows配置spark开发环境
chaney的博客
04-15 2756
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
大数据技术之Spark
最新发布
2503_91105521的博客
03-11 932
StandAlone的原理?Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群)Standalone如何提交Spark应用？4040\8080\18080分别是什么?4040是单个程序运行的时候绑定的端口可供查看本任务运行情况Job\State\Task的关系?一个Spark程序会被分成多个子任务(Job)运行, 每一个Job会分成多个State(阶段)来 运行, 每一个State内会分出来多个Task(线程)来执行具体任务。
Spark学习笔记--Spark在Windows下的环境搭建
a261505的博客
08-03 390
　　本文主要是讲解Spark在Windows环境是如何搭建的 一、JDK的安装 1、1 下载JDK 　　首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads。 　　上...
在Windows下搭建Spark环境
共勉
04-26 1422
安装jdk配置jdk环境变量 参考：单击前往 安装Scala及配置 在官网当中进行下载：https://www.scala-lang.org/ 单击download后，可以在最下面看到版本信息：选择Scala的msi版本，单击下载。 下载完成后单击运行就会进入到安装界面，一直下一步安装即可。 在cmd当中需要看一下输入scala后是否可以进行scala； 如果不能进入，大概就是在安装的时候没...
Windows环境搭建Spark开发环境
爱码士的博客
08-05 381
Linux安装 请参考大数据环境搭建(六)之安装Spark Windows安装 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0/ 解压后： 添加环境变量 Path追加 打开cmd 输入 spark-shell 检测 spark-submit测试 首先你要用scala写一个helloworld程序，创建方式请参考：https://blog.csdn.net/qq_15973399/article/details/1
windows下搭建spark开发环境
queen123444的博客
12-24 2011
windows下spark开发环境搭建
PyCharm搭建Spark开发环境实现第一个pyspark程序
12-31
一, PyCharm搭建Spark开发环境 Windows7, Java1.8.0_74, Scala 2.12.6, Spark 2.2.1, Hadoop2.7.6 通常情况下，Spark开发是基于Linux集群的，但这里作为初学者并且囊中羞涩，还是在windows环境下先学习吧。 参照这个...
Windows下Spark开发环境的搭建
qq_74745132的博客
12-14 2235
Spark是一个快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发。Spark提供了一种基于内存的分布式计算模型，能够在大规模数据集上进行高效的数据处理、机器学习和图形计算等任务。Spark支持多种编程语言，包括Java、Scala、Python和R等，同时也提供了丰富的API和工具，如Spark SQL、Spark Streaming、MLlib和GraphX等，方便开发人员进行数据处理和分析。Spark的优势。
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3667
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
Window系统部署配置Hadoop,Spark需要的文件
05-14
Window系统部署配置Hadoop,Spark需要的文件，Hadoop在window中在Apache中下载是不能直接使用的，资源中有兼容Windows的windows util工具包，直接放在Hadoop/bin下覆盖即可。再稍作修改etc\hadoop目录下的core-site.xml ，hdfs-site.xml 等几个文件为本地目录关联的配置即可。
Spark在Windows下的环境搭建
weixin_42382758的博客
03-22 364
参考
Spark环境搭建【Windows系统】
jingjxd的博客
06-17 943
Spark环境搭建【Windows系统】Spark环境搭建JDK安装下载安装Scala安装下载安装Spark安装下载 Spark环境搭建 本文介绍Win10系统的Spark的安装环境，记录Spark学习的点滴，Spark新手，如有错误欢迎指正。 JDK安装 下载安装 jdk1.8 下载地址 找到自己系统对应的jdk版本，下载即可。 设置过程略，设置完成后验证下，如下图即安装成功。 至此JDK安装结束。 Scala安装 下载安装 官网下载地址 找到要下载的版本，本文安装版本为：2.11.12 下载后安装
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
在windows安装部署spark
BusyMonkey
02-22 491
1、下载地址：https://download.csdn.net/download/dopamy_busymonkey/10970660 2、解压后，配置环境变量： SPARK_HOME= 在PATH中加入 ;%SPARK_HOME%\binl;%SPARK_HOME%\sbin; 3、jdk环境变量脚本修改： 如果使用的是非环境变量的jdk版本，这里添加脚本： set ...
【Spark】Local本地模式安装部署
qq_41369191的博客
04-15 455
下载Spark安装包 下载地址：http://spark.apache.org/downloads.html 上传安装包 cd /export/soft/ rz 解压 tar -zxvf ./spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C ../servers/ 解压目录说明 bin：可执行脚本 conf：配置文件 dat...
spark安装_windows下spark开发环境配置
weixin_39641386的博客
11-27 390
windows下spark开发环境配置特注：windows下开发spark不需要在本地安装hadoop，但是需要winutils.exe、hadoop.dll等文件，前提是你已经安装了eclipse、maven、jdk等软件spark支持jdk版本建议是1.8及以上，如果开发spark建议将jdk编译版本设置为1.8我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz，故...
在windows安装部署spark(python版)
zhongjunlang的专栏
06-26 5244
在部署spark之前你得先确定你已经成功部署了Hadoop，如果没有的话，请看我上一篇文章：https://blog.csdn.net/zhongjunlang/article/details/808126691.首先下载Spark http://spark.apache.org/downloads.html 选择合适的版本，这里我下载了最近的版本 下载完解压包之后对解压包进行解压，注意存放的路径...
windows本地sparkstreaming开发环境搭建及简单实例
06-28
### 回答1： Windows本地Spark Streaming开发环境搭建及简单实例： 1. 首先需要安装Java JDK和Scala，可以在官网上下载对应版本的安装包进行安装。 2. 下载Spark的二进制包，解压到本地目录。 3. 配置环境变量，将Spark的bin目录添加到PATH中。 4. 在本地启动Spark集群，可以使用以下命令： ``` spark-submit --class org.apache.spark.examples.streaming.NetworkWordCount --master local[2] %SPARK_HOME%\examples\jars\spark-examples_2.11-2.4.0.jar localhost 9999 ``` 这个命令会启动一个本地的Spark集群，并运行一个简单的Spark Streaming应用程序，它会从本地的9999端口接收数据，并对数据进行实时计算。 5. 在另一个命令行窗口中，使用以下命令向Spark Streaming应用程序发送数据： ``` nc -lk 9999 ``` 这个命令会启动一个本地的Netcat服务器，它会将输入的数据发送到9999端口。 6. 在Spark Streaming应用程序的控制台输出中，可以看到实时计算的结果。 以上就是在Windows本地搭建Spark Streaming开发环境及简单实例的步骤。 ### 回答2： 搭建windows本地Spark Streaming开发环境需要准备以下几个步骤： 一、安装Java 需要先安装Java作为Spark的运行环境，推荐安装Java8及以上的版本，可以通过官方网站下载安装包。 二、安装Spark 官方网站提供了Spark的下载地址，选择合适的版本进行下载，并解压缩到本地硬盘上。 三、安装Python 需要安装Python来运行Spark Streaming的示例程序，如果已经安装了Anaconda，则可以直接使用。 四、安装PySpark PySpark是Spark的Python版，需要用pip安装，安装命令： pip install pyspark 搭建好本地开发环境之后，可以编写Spark Streaming的简单示例程序。 首先，需要导入相应的库： from pyspark.streaming import StreamingContext from pyspark import SparkContext 接下来，定义StreamingContext，设置批次时间，Spark Streaming的数据输入源等： sc = SparkContext(appName="PythonStreamingQueueStream") ssc = StreamingContext(sc, 1) rddQueue = [] inputStream = ssc.queueStream(rddQueue) 接下来，可以定义数据处理函数，并对输入源进行处理： def process(time, rdd): print("========= %s =========" % str(time)) try: if not rdd.isEmpty(): count = rdd.count() print("Word count in this batch: ", count) except Exception as e: print(e) inputStream.foreachRDD(process) 最后，需要启动StreamingContext，并将输入源写入队列： ssc.start() for i in range(5): rddQueue.append(sc.parallelize(["hello world"] * 10)) time.sleep(1) ssc.stop(stopSparkContext=True, stopGraceFully=True) 以上就是简单的Spark Streaming示例程序，可以通过这个示例进一步了解Spark Streaming的开发环境搭建和基本的使用。 ### 回答3： Spark是一个快速、通用和可扩展的计算引擎，支持在线数据处理。Spark Streaming是Spark生态系统中的一个组件，允许对实时数据进行流式处理和分析。在本地环境下进行Spark Streaming开发需要进行如下步骤： 1. 安装Java JDK和Scala环境 Spark需要Java JDK和Scala环境来运行。可以从Oracle官方网站下载Java JDK，在Scala官方网站下载Scala环境。 2. 下载Spark并解压缩 从Spark官方网站下载Spark，并解压缩到本地目录。 3. 配置环境变量 在环境变量中配置SPARK_HOME、JAVA_HOME、SCALA_HOME和PATH变量，以便在命令行中启动Spark。 4. 编写Spark Streaming应用程序 可以使用Scala编写Spark Streaming应用程序。在Spark Streaming中，可以使用DStreams（离散流）来处理数据。 5. 运行Spark Streaming应用程序 使用命令行启动Spark Streaming应用程序，可以使用Spark submit命令。例如，可以使用以下命令启动应用程序： ``` $SPARK_HOME/bin/spark-submit --class com.example.MyApp myapp.jar ``` 其中“com.example.MyApp”是程序入口类，myapp.jar是打包后的应用程序包。 简单实例： 以下是使用Spark Streaming进行单词计数的示例： ```scala import org.apache.spark._ import org.apache.spark.streaming._ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("WordCount") val ssc = new StreamingContext(conf, Seconds(1)) val lines = ssc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _) wordCounts.print() ssc.start() ssc.awaitTermination() } } ``` 该应用程序从本地套接字上读取数据流，并计算每个单词出现的次数。在命令行中可以使用以下命令启动该应用程序： ``` $SPARK_HOME/bin/spark-submit --class WordCount \ --master local[2] wordcount.jar localhost 9999 ``` 其中，--master local[2] 指定使用本地模式，并使用2个CPU核心。localhost 9999是要从上面读取数据的本地套接字。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

翁松秀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值