Win10下安装spark踩坑实录

最新推荐文章于 2024-07-06 05:35:14 发布
最新推荐文章于 2024-07-06 05:35:14 发布
阅读量994 收藏 2
点赞数
分类专栏： 大数据学习 文章标签： spark scala hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shdxhsq/article/details/106480790
版权
本文记录了在Windows 10上安装Spark的过程，包括配置JDK8和Hadoop环境，安装Scala与IDE，安装Spark时遇到的问题及解决方法，如winutils.exe的配置，环境变量设置，以及在Eclipse中运行Spark程序的步骤。总结了多个关键问题的解决方案，帮助读者顺利搭建Spark开发环境。
摘要由CSDN通过智能技术生成

配置spark之前，需要有jdk8，Hadoop环境

目录

一.安装IDE

http://scala-ide.org/download/sdk.html

图片

版本号最好对应上

也有scala的插件，但是不建议这样装

直接解压下载好的安装包

二.安装scala

step1：下载

https://www.scala-lang.org/download/2.12.3.html

图片

msi和zip都可以

zip直接就是源码，下载解压之后就可以啦

msi有一个安装引导助手，如下图：

双击scala-2.11.8.msi安装包，启动安装程序，

图片

点击next

中间会有一步选择安装位置的，这里要注意，路径里不要用空格，不要有空格，不要有空格

step2：配置环境

①系统变量里增加一项：图片

②在Path中增加一项：

图片

要注意啊，上面写了bin，下面就不要写

step3:测试

图片

三.安装Spark

官网传送门：https://spark.apache.org/downloads.html

由于我已经配置好了hadoop2.8.5，就选择了这个版本
在这里插入图片描述
有一个问题需要注意，就是尽管本地已经装了hadoop，但是，还是选用上图的版本。下图的这个版本配置起来会出现各种各样的问题，比较坑。要特别注意！！
本地2.8.5的hadoop和2.4.6的spark是可以一起用的
图片

首先下载安装包

最低0.47元/天 解锁文章
shdxhsq
关注
专栏目录
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
qq_65303368的博客
02-20 445
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark win10安装个人总结
weixin_44133327的博客
03-31 201
本次安装spark hadoop主要参考这个链接 https://blog.csdn.net/songhaifengshuaige/article/details/79480491 pyspark的安装 https://mp.weixin.qq.com/s/6Fo7mq2lSjiKiMw0Nj00Rg
实验3-Spark基础-Spark的安装
最新发布
想要AC的sjh的博客空间
07-06 1083
PYTHONPATH环境变量主要是为了在Python3中引入Pyspark库，对于不同版本的Spark , 其py4j-0.10.7-src.zip文件名是不同的，要进入相应目录 $SPARK_HOME/python/lib/ 下具体查看确定具体名称，再对PYTHONPATH环境变量的相应值加以修改。配置完成的文件如图所示。此指导书中使用的 Spark 版本为 spark-2.3.3-bin-hadoop2.7.tgz ，实验环境中存放在 /hadoop-packages/ 目录下。本实验平台不需要下载。
Win10 环境下 spark 本地环境的搭建
Dyun_480163的博客
12-01 1669
此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。下载 jdk1.8.0_66_windows-x64_bin.exe(或其他版本)，点击安装。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>新建。启动 jupyter notebook。
使用java命令出现“Error: A JNI error has occurred, please check your installation and try again“的一种解决方案
Yimu_Wang的博客
02-04 4万+
使用java命令出现"Error: A JNI error has occurred, please check your installation and try again"的一种解决方案 Windows系统下使用cmd进行Java程序的编译与运行。 　　在操作过程中出现错误，具体为javac编译成功，而java运行报错；如下图： 错误为发生JNI错误，请检查安装并重试。 　　检查原因可以得知是由于javac与java版本不同所致。 　　分别使用： javac -version jav
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
win10配置安装spark-3.0.2-bin-hadoop2.7踩坑上岸
weixin_51432117的博客
03-22 1099
文章目录前言一、软件分享二、经验分享1.环境配置2.解决出错总结 前言 一、软件分享 这里面是hadoop2.7.7所需的文件，其中JDK是1.8.201版本。 链接：https://pan.baidu.com/s/1Bbk9CqTSAmlLwCuXD62LBw 提取码：878s 复制这段内容后打开百度网盘手机App，操作更方便哦 spark去官网下载基于2.7版本的即可http://spark.apache.org/downloads.html 二、经验分享 1.环境配置 代码如下（示例）： 将Ja
win10安装spark流程
NJYR21的博客
05-12 4836
win10安装spark流程说明安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。一、安装JDK官网下载了8u172版本。点击打开链接安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。打开cmd键入java -version，看到如下界面说明java安装成功。二、安装scala官网下载了msi格式，并安装成功。点击打开链接增加pat...
Error: A JNI error has occurred, please check your installation and try again解决
follow your heart
05-16 20万+
为什么会出现这个问题？ 因为你的java -verion 和 javac -version 版本不一致 为什么两个版本不一致？ 因为你重复多次安装JDK，导致你的电脑上存在多个JDK版本，这样你运行java 命令的时候就会出现这个错。 怎么解决两个版本不一致问题？ 让你的java -verion 和 javac -version 版本不致就可以了 怎样保持一致？ 你要卸载掉旧的JDK，这样剩余的j...
spark安装踩坑
Szcollar的博客
05-08 1894
spark安装踩坑 1.下载文件 应当下载前三个，最后一个很小估计只有代码资源，该有的包都没有。于是直接运行bin/spark-shell 时会报错：Failed to find Spark jars directory (/opt/module/spark-3.1.1/assembly/target 2.JNI error 报错：A JNI error has occurred, please check your installation and try again 这种情况是由于*/opt/modu
Error: A JNI error has occurred, please check your installation and try again
软件工程小施同学 的专栏
07-26 424
是因为编译用的javac版本，和运行用的java版本不一致，产生的报错。IDEA编译时，默认使用的jdk是自带的，CMD中的jdk是按照path中配置的，两个版本不同。需要修改idea中编译套件。 "ctrl+shift+alt+s" ,打开project settings,修改project使用的JDK和SDK 修改之后重新编译jar，可正常运行 https://bigfu.cn/?p=54 ...
windows10下spark2.4.5本地开发环境部署与测试
我的博客
02-25 1061
最近全国各地学生都开始上网课了，我也不例外。 今天开始学习spark，因为不在学校，在自己笔记本上重新装分布式集群时间成本太高了，所以spark在集群上跑是不行的了。所以今天老师简单介绍完spark，就让我们完成spark本地开发环境部署的任务了。 老师甩给我们几个安装包和一个简易的安装手册。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/202002252...
使用java命令出现Error: A JNI error has occurred, please check your installation and try again的错误
热门推荐
CircleYuan的博客
08-01 24万+
运行Java程序，javac运行.java文件没有报错，但java运行的时候报错   仔细看一下报错 Exception in thread "main" java.lang.UnsupportedClassVersionError: helloworld has been compiled by a more recent version of the Java Runtime (cl...
window10安装spark
GGBond的博客
08-12 2863
1.下载并安装JDK 点击下一步 选择安装地址,选择完直接下一步 点击完成 点击下一步 出现下面的界面 安装完成后跳出下面的界面,点击关闭 2.配置环境变量 右键计算机属性→高级系统设置→高级里的环境变量→系统变量里的Path→点击编辑→点击新建→浏览→找到下载的java文件,找到2个bin文件,点击确定 配置完成后的效果如下图 打开cmd窗口,输入 java -version ...
Spark运行环境之SparkEnv和通信工具RpcEnv
dabokele的博客
01-03 2611
Spark在运行时Driver端和Executor端需要互相通信，那么这种通信是如何进行的？ 在SparkEnv中有两个方法createDriverEnv，createExecutorEnv，分别用于创建Driver端和Executor端的SparkEnv对象。 看一下SparkEnv对象的结构，从下面的代码中可以看到SparkEnv包含了Spark中很多重要组件，比如用于通信的RpcEnv，用于...
使用java命令运行编译好的代码报错：Error: A JNI error has occurred, please check your installation and try again解决方案
cnds123的专栏
01-26 2004
使用java命令运行编译好的代码报错：Error: A JNI error has occurred, please check your installation and try again解决方案 Windows10系统下使用cmd进行Java程序的编译与运行时，出现错误，具体表现为javac编译成功，而java运行编译好的代码报错；如下图： 查看原因可以得知是由于javac与java版本不同所致。 分别使用： javac -version java –version .
win10安装spark
05-28
4. 启动Spark，通过运行spark-shell或spark-submit命令来验证Spark是否正确安装。 5. 如果你想在Windows上使用Hadoop分布式文件系统(HDFS)或YARN资源管理器，你还需要安装Hadoop并配置相关环境变量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值