spark windows java 本地开发环境搭建

最新推荐文章于 2023-01-29 11:32:09 发布
最新推荐文章于 2023-01-29 11:32:09 发布
阅读量804 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013958151/article/details/103751717
版权

需要三步

  1. 安装java本地环境（此步省略）
  2. 下载spark软件包
  3. 配置spark环境

直接第2步开始，下载地址是

 

 

http://spark.apache.org/downloads.html

 

 

 

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz

 

 

下载完之后再本地解压，推荐7-ZIP软件解压

第3步：解压完成之后，配置环境变量

有两个环境变量需要配置

SPARK_HOME：spark解压之后的目录，不要指向到解压之后的bin目录了（不要有空格的文件夹路径）

HADOOP_HOME：没有安装hadoop，所以搭建一个模拟的hadoop环境，只需要创建一个文件夹，再文件夹中新建一个bin目录，再将winutils.exe文件放到bin目录中，配置bin上级目录为这个环境变量的值

切入到spark的bin目录，运行spark-shell.cmd 

Windows的spark本地开发环境就搭建好了

aitxiaogang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark环境搭建java_Spark环境搭建
weixin_36316642的博客
02-16 790
一、Java安装1、安装目录准备在安装这些包之前在家目录下创建一个app的目录，app目录中创建一个tmp目录：[root@hadoop-master ~]#mkdir -p app/tmp2、解压JDK上传JDK1.8版本jdk-8u74-linux-x64.tar.gz到linux上，并且将其解压到app目录下：[root@hadoop-master ~]#tar -xzvf jdk-8u7...
（windows）虚拟机搭建spark
huitailangZz的博客
09-23 3565
对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，
【spark】第一章——Spark简介及环境配置
无邪的博客
12-03 904
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还 要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。首先从时间节点上来看: Hadoop:◼️2006 年 1 月，Doug Cutting 加入 Yahoo，领导 Hadoop 的开发 ◼️ 2008 年 1 月，Hadoop 成为 Apache 顶级项目 ◼️ 2011 年 1.0 正式发布 ◼️ 20
Spark开发详细流程之一：windows本地搭建JAVA Spark开发环境
深入浅出讲透复杂深奥的问题
04-15 381
JDK1.8 + Spark2.3 + Hadoop2.7.1 安装JDK1.8 安装Spark2.3.1 解压路径：D:\Tools\spark-2.3.1-bin-hadoop2.7 配置环境变量：1）系统变量：SPARK_HOME；变量值：D:\Tools\spark-2.3.1-bin-hadoop2.7 2）Path环境变量增加：%SPARK_HOME%\bin，%SPARK_HOME...
Spark的java开发环境实战
rishengcsdn的专栏
09-11 8423
看网上文档要用Spark开发搭建环境是挺麻烦的，需要多台机器安装Hadoop，还要建立和修改许多配置文件，有没有简单一点的方法呢？ 作者研究了一下，发现了一种非常简便的方法，能让小盆友们快速上手Spark又避免复杂安装命令。 研究了Spark的支持方面，我发现Spark2.2和mongodb3.4这两个家伙已经宣布了互相支持。这下子狼狈为奸，一脚踢开复杂难用的Hadoop了。
Spark在Windows下的环境搭建方法
10-16
主要介绍了Spark在Windows下的环境搭建方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-...
Spark开发及本地环境搭建指南
08-30
Spark入门文档，来源于Linux公社
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
Spark开发环境搭建
06-15
Spark开发环境搭建
java spark环境配置文件_spark基础学习-环境搭建（windows+Java）
weixin_36355328的博客
03-04 151
1、jdk安装jdk下载、安装以及环境变量的配置在此不做赘述。2、Scala安装下载地址：下载Windows对应的.msi文件，完成后双击执行安装。安装成功后会自动将Scala的bin目录添加到系统变量path中，若path中没有则按照JAVA的方法将Scala的bin目录添加到系统变量中验证win+r-->cmd-->scala，若出现以下信息则说明安装成功：3、spark安装下载地...
第6.1.3章 Spark java本地程序开发
warrah 南极狼
08-20 566
1 spark sql本地测试 下面的测试类，是通过main函数启动的,非常简单的sparksql，但具备代表性。 import java.util.Calendar; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; ...
Java版Spark的Eclipse本地Windows开发环境搭建
争当鲲鹏飞万里 不做燕雀恋子巢
06-05 1394
开发前需要准备好JDK、Scala、Hadoop、Spark环境。步骤如下： 　　第一步：安装JDK 　　第二步：安装Scala 　　第三步：配置Spark环境变量 　　第四步：安装Hadoop客户端 　　第五步：安装Eclipse 第一步：安装JDK 省略，配置完验证是否安装成功 第二步：安装Scala 1、下载地址：http://www.scala-lang.or...
idea配置spark的java开发环境
09-07 1821
建立spring boot项目。Controller能够输出。搭建过程请参考我的其他博文。 2、指定spark版本： <properties><java.version>1.8</java.version><spark.version>3.1.2</spark.version><scala.version>2.12</scala.version></properties> ...
Spark开发工程师（含项目）
02-21
本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。
windows下用Java跑通spark官方文档的quick-start
shuzip的博客
10-29 844
在Win下跑通Java版的spark docs quick-start
windows10搭建spark本地开发环境
besmarterbestronger的博客
01-29 4886
注意：Spark3.0、Spark3.1是由Scala2.12预编译，但是Spark 3.2+是采用Scala 2.13预编译。
java spark 开发环境搭建_Spark编程环境搭建及WordCount实例
weixin_39944944的博客
02-24 301
基于Intellij IDEA搭建Spark开发环境搭建基于Intellij IDEA搭建Spark开发环境搭——参考文档● 操作步骤·a)创建maven 项目·b)引入依赖(Spark 依赖、打包插件等等)基于Intellij IDEA搭建Spark开发环境—maven vs sbt● 哪个熟悉用哪个● Maven也可以构建scala项目基于Intellij IDEA搭建Spark开发环境搭—m...
windows本地sparkstreaming开发环境搭建及简单实例
最新发布
06-28
Windows本地Spark Streaming开发环境搭建及简单实例： 1. 首先需要安装Java JDK和Scala，可以在官网上下载对应版本的安装包进行安装。 2. 下载Spark的二进制包，解压到本地目录。 3. 配置环境变量，将Spark的bin...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值