windows下spark环境搭建+idea中WordCount例子

最新推荐文章于 2024-09-13 08:37:55 发布
最新推荐文章于 2024-09-13 08:37:55 发布
阅读量391 收藏 1
点赞数 1
分类专栏： 大数据 spark 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caojian107/article/details/105117490
版权
本文介绍了如何在Windows系统下搭建Spark环境，包括安装JDK、Scala、Spark和Hadoop，并从国内镜像下载以提高速度。接着讲解了安装winutils的步骤，并指出在启动spark-shell时遇到的问题。然后，在IntelliJ IDEA中创建Spark Maven项目，配置pom.xml文件，添加Maven镜像源，最后实现并运行了一个WordCount示例程序，成功生成了结果文件。
摘要由CSDN通过智能技术生成

一、windows下spark环境搭建

1.安装JDK和scala

 

2.安装spark和hadoop

http://spark.apache.org/downloads.html

https://archive.apache.org/dist/hadoop/common/

慢的话可以去国内镜像eg：

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/

注意spark、hadoop和scala版本问题，我用的是scala2.13.1（换成2.12.11了，不然pom文件中dependency会红），spark2.4.5，hadoop2.7.7

 

3.下winutils

https://github.com/steveloughran/winutils

 

4.在C盘建目录tmp/hive然后在CMD输入C:\你的安装目录\hadoop\bin\winutils.exe chmod 777 C:/tmp/hive

测试spark-shell

最低0.47元/天 解锁文章
badbeat
关注
专栏目录
Spark开发环境搭建
weixin_54707168的博客
03-26 617
Spark开发环境搭建
windows下使用idea maven配置spark运行环境、运行WordCount例子以及碰到的问题
chen
12-28 3847
# 一、安装JAVA JDK 、Maven  、scala   这些安装都比较简单都可以去官网下载最新版本的安装包一一安装就可以了。 scala官网下载地址：http://www.scala-lang.org/download/  # 二、安装idea scala 插件     setting—>plugins页面点击下面的角Browse repositories… 选项搜
spark搭建
metooman的博客
12-11 238
spark 搭建
WinTools：Windows 实用工具集
最新发布
gitblog_00596的博客
09-13 1024
WinTools：Windows 实用工具集 WinTools A collection of free miscellaneous Windows tools 项目地址: https://gitcode.com/gh_mirro...
Windows环境下安装Spark并运行WordCount例子
actionbean的博客
11-09 7408
Windows环境下安装Spark并运行WordCount例子一、Windows下安装Spark1、提前安装Java JDK2、提前安装Scala3、安装Spark4、安装Hadoop5、下载winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）6、运行spark-shell二、运行WordCount例子1、新建Project2、新建Scala Class3、导入Spark程序依赖的jar包4、编写WordCount代码 一、Windows下安装Sp
Windows环境下SparkML程序简单示例
12-14
Windows环境下SparkML程序简单示例，机器学习程序基本都包括分类、回归、聚类等算法，可以运行！
Spark：用Scala和Java实现WordCount
01-30
用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java）OS:RedHatEnterpriseLinuxServer release6.
IDEA创建基于Scala语言的Spark Maven项目及WordCount
hannah_7的博客
02-27 379
IDEA创建基于Scala语言的Spark Maven项目及WordCount 前提概要须知：使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12。 一、创建Maven项目 1.1、下载有 Scala 开发插件 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6PU6Q9AE-1612778300676)(C:\Users\Hannah\AppData\Roaming\Typora\typora-user-images\image-2021020
spark的搭建
2301_76931245的博客
05-01 1424
Spark是一个开源的大数据处理框架，它提供了一个快速、通用和易于使用的计算引擎。Spark最初由美国加州伯克利大学AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。具体来说，Spark的优势包括：速度快：Spark能够快速进行数据读取、处理和写入操作，特别是针对机器学习等需要频繁访问数据集的任务，其速度远超传统的MapReduce框架。
windows安装spark
agangz的专栏
06-19 619
spark windows安装
spark环境搭建
01-22
spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建
Spark环境搭建
10-16
spark环境搭建
windows中安装Spark
蓝色格子ren的博客
07-27 6278
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
搭建spark
weixin_37353303的博客
10-15 284
参考书目：hadoop+spark 大数据巨量分析与机器学习整合开发实战 #安装scala 下载scala 网址：https://www.scala-lang.org/files/archive/ 选择一个合适的版本，在master终端进入需要放置scala文件目录输入： wget http://www.scala-lang.org/files/archive/scala-2.12.7.tgz...
windows下安装spark
u013008898的博客
11-16 6384
一、安装Scala 下载地址：http://www.scala-lang.org/download/all.html 进入页面后选择一个Scala版本进行下载，我选择的是Scala2.12.0版本。特别注意的是看帖子又的说Scala版本与Spark版本之间是有一定关联的，比如说你的Scala版本是2.12.0，那么就应该下载Spark版本为从1.3.0到Spark 1.6.2之间的各个版本。这种说法不知道准不准确，但是还是注意一下比较好。 Scala安装好之后呢，它会自动在环境变量PATH里面配置..
spark平台搭建
s37
12-20 518
Spark是用Scala程序设计语言编写而成，运行于Java虚拟机（JVM）环境之上。目前支持如下程序设计语言编写Spark应用： Scala Java Python Clojure R前提条件： 为了让Spark能够在本机正常工作，你需要安装Java开发工具包（JDK）。windows与ubuntu自行下载对应的安装包安装，安装目录不要带空格。 同样还需要在电脑上安装Spark软件. 在Spar
在Windows上的安装 Spark
lengyudexin的博客
12-28 1380
安装Java 8或更高版本 要在windows上安装Apache Spark，你需要Java 8或最新的版本，因此从 Oracle 下载Java版本并安装在你的系统上。如果你想要OpenJDK，你可以从这里 下载.它。 下载后，双击下载的文件，以便在您的windows系统上安装它。选择任何自定义目录或保持默认位置。 注意：这是以Java 8上安装Apache Spark为例，同样的步骤也适用于Java 11和13版本。 Apache Spark在Windows上的安装 Apache Spark是以压缩的t
spark开发环境搭建+wordcount案例
06-28
Spark开发环境搭建： 1. 安装Java环境：Spark运行需要Java环境，可以从Oracle官网下载JDK并安装。 2. 下载Spark：从Spark官网下载Spark安装包，解压到本地目录。 3. 配置环境变量：将Spark的bin目录添加到系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值