在Windows上配置spark环境

最新推荐文章于 2024-07-21 20:58:36 发布

py8585

最新推荐文章于 2024-07-21 20:58:36 发布

阅读量3.9k

点赞数 4

文章标签： windows

本文链接：https://blog.csdn.net/weixin_43859091/article/details/123680278

版权

一、将spark和hadoop压缩包解压后放置在windows上的一个没有空格的英文名文件夹里

二、配置环境变量

HADOOP_HOME

SPARK_HOME

三、将spark目录下的python子目录里的pyspark复制到c:\program files\python38\lib目录中

四、将钉钉群里的py文件放置在vscode执行，查看执行结果

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

py8585

关注关注

4
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

windows配置spark开发环境

小狐白白的博客

11-22

1102

windows本地配置spark开发环境

windows下安装spark并配置环境变量

Vulpes corsac

10-31

2695

一、下载 Spark下载地址：http://spark.apache.org/downloads.html 点击下图的连接下载不需安装，直接解压放到想要放到的目录底下。二、配置环境变量 添加用户环境变量： 1.SPARK_HOME：D:\spark-2.4.3-bin-hadoop2.7 2.在系统环境变量Path增加：%SPARK_HOME%\bin 在控制台输入一下命...

1 条评论您还未登录，请先登录后发表或查看评论

大数据应用之Spark环境安装与配置完全解析

最新发布

sinat_30844883的博客

07-21

1018

Spark由Apache公司开源，与Hadoop配合使用获得更高性能与易用性，是专为大规模数据处理而设计的快速通用的计算引擎，现在形成一个高速发展的广泛生态系统。 Spark具有速度快、易用性、通用性及生态丰富的特点，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。

windows下安装配置spark

深海小黄鱼

01-12

2745

安装时一定要注意版本的对应，尤其下载官方scala的编辑器Scala IDE for Eclipse时注意scala版本和java版本，同样是1.8也会有问题，查看它对应的具体哪一个由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，H

Windows下Spark开发环境的搭建

qq_74745132的博客

12-14

1899

Spark是一个快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发。Spark提供了一种基于内存的分布式计算模型，能够在大规模数据集上进行高效的数据处理、机器学习和图形计算等任务。Spark支持多种编程语言，包括Java、Scala、Python和R等，同时也提供了丰富的API和工具，如Spark SQL、Spark Streaming、MLlib和GraphX等，方便开发人员进行数据处理和分析。Spark的优势。

Windows下配置IDEA的Spark的开发环境

01-20

Windows下配置IDEA的Spark的开发环境下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启；下载scala的包并...

Spark在Windows下的环境搭建方法

10-16

在上述所有软件安装和配置完成后，需要在Windows系统中通过命令行验证Spark环境是否搭建成功。可以在命令行中输入“spark-shell”，如果能进入Spark的交互式命令行环境，则表示搭建成功，可以开始进行Spark开发工作...

Spark环境搭建-Windows

qq_47844519的博客

07-06

2198

spark Windows搭建

【spark2.4.4源码编译】windows环境编译spark2.4.4

01-20

windows环境编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记环境要求操作系统环境：Windows 10（Windows7、Windows8亦可） Java版本： jdk1.8 Scala版本：2.11.0 Maven版本：3.5.4 Git版本：版本...

windows搭建spark环境

qq_25091649的博客

10-21

3883

windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装

（windows）虚拟机搭建spark

huitailangZz的博客

09-23

3710

对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，

Windows10系统spark3.0.0配置

lzq_tarena的专栏

11-06

1154

不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。从Apache官网下载Hadoop：https://hadoop.apache.org/官方下载网址：https://www.scala-lang.org/

win 10下spark的安装及配置

haokelaicds的博客

04-11

5714

一级标题提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录步骤一、jdk配置二、Hadoop配置三、Spark配置四、scala安装五、运行测试步骤提示：以下是本篇文章正文内容，下面案例可供参考一、jdk配置在jdk官网中下载与自己电脑相应配置的jdk。点击电脑的设置——>关于——>高级系统设置——>环境变量中配置jdk环境变量。点击新建，输入下图中的变量名称，变量值填写你自己安装的jdk目录路径。建好后点击确定在系统变量中添加变量名

windows下spark开发环境配置

热爱我的热爱

12-29

596

特注：windows下开发spark不需要在本地安装hadoop，但是需要winutils.exe、hadoop.dll等文件，前提是你已经安装了eclipse、maven、jdk等软件 spark支持jdk版本建议是1.8及以上，如果开发spark建议将jdk编译版本设置为1.8 我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz，故以该版本为例

【Spark】Windows下安装Spark（亲测成功安装）

热门推荐

tttzzzqqq2018的博客

08-02

1万+

安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。

Windows下配置Hadoop及Spark环境

CSDN_张子

03-29

9685

前言教程所用各版本说明一 JDK环境配置由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME 下载jdk-11.0.13_windows-x64_bin.zip 链接：https://www.oracle.com/in/java/technologies/javase/jdk11-archive-downloads.html 单独修改Hadoop的话，需要在Hadoop目录下的etc\hado

windows下搭建spark开发环境

queen123444的博客

12-24

1706

windows下spark开发环境搭建

Windows下的Spark环境配置（含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目）

XZHBUT的博客

05-30

3127

文章目录前言一、下载资源二、本地配置步骤1.解压2.引入本地环境3.启动HADOOP文件4.进行Spark测试三、IDEA引入Spark项目1.idea按照scala插件2.新建scala项目3.配置项目4.新建scala类前言本文适用于《Spark大数据技术与应用》第九章-菜品推荐项目环境配置：` 跟着做就行… 资源都在网盘里面，纯粹的无脑配置… 提示：以下是本篇文章正文内容，所用资源版本过低，用于课本实验，且已有Java环境一、下载资源 scala：2.12.8 spark：1.6.2 had