Win10下安装spark踩坑实录

最新推荐文章于 2024-07-06 05:35:14 发布
最新推荐文章于 2024-07-06 05:35:14 发布
阅读量994 收藏 2
点赞数
分类专栏： 大数据学习 文章标签： spark scala hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shdxhsq/article/details/106480790
版权
本文记录了在Windows 10上安装Spark的过程，包括配置JDK8和Hadoop环境，安装Scala与IDE，安装Spark时遇到的问题及解决方法，如winutils.exe的配置，环境变量设置，以及在Eclipse中运行Spark程序的步骤。总结了多个关键问题的解决方案，帮助读者顺利搭建Spark开发环境。
摘要由CSDN通过智能技术生成

配置spark之前，需要有jdk8，Hadoop环境

目录

一.安装IDE

http://scala-ide.org/download/sdk.html

图片

版本号最好对应上

也有scala的插件，但是不建议这样装

直接解压下载好的安装包

二.安装scala

step1：下载

https://www.scala-lang.org/download/2.12.3.html

图片

msi和zip都可以

zip直接就是源码，下载解压之后就可以啦

msi有一个安装引导助手，如下图：

双击scala-2.11.8.msi安装包，启动安装程序，

图片

点击next

中间会有一步选择安装位置的，这里要注意，路径里不要用空格，不要有空格，不要有空格

step2：配置环境

①系统变量里增加一项：图片

②在Path中增加一项：

图片

要注意啊，上面写了bin，下面就不要写

step3:测试

图片

三.安装Spark

官网传送门：https://spark.apache.org/downloads.html

由于我已经配置好了hadoop2.8.5，就选择了这个版本
在这里插入图片描述
有一个问题需要注意，就是尽管本地已经装了hadoop，但是，还是选用上图的版本。下图的这个版本配置起来会出现各种各样的问题，比较坑。要特别注意！！
本地2.8.5的hadoop和2.4.6的spark是可以一起用的
图片

首先下载安装包

最低0.47元/天 解锁文章
shdxhsq
关注
专栏目录
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
qq_65303368的博客
02-20 443
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark win10安装个人总结
weixin_44133327的博客
03-31 201
本次安装spark hadoop主要参考这个链接 https://blog.csdn.net/songhaifengshuaige/article/details/79480491 pyspark的安装 https://mp.weixin.qq.com/s/6Fo7mq2lSjiKiMw0Nj00Rg
实验3-Spark基础-Spark的安装
最新发布
想要AC的sjh的博客空间
07-06 1001
PYTHONPATH环境变量主要是为了在Python3中引入Pyspark库，对于不同版本的Spark , 其py4j-0.10.7-src.zip文件名是不同的，要进入相应目录 $SPARK_HOME/python/lib/ 下具体查看确定具体名称，再对PYTHONPATH环境变量的相应值加以修改。配置完成的文件如图所示。此指导书中使用的 Spark 版本为 spark-2.3.3-bin-hadoop2.7.tgz ，实验环境中存放在 /hadoop-packages/ 目录下。本实验平台不需要下载。
Win10 环境下 spark 本地环境的搭建
Dyun_480163的博客
12-01 1662
此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。下载 jdk1.8.0_66_windows-x64_bin.exe(或其他版本)，点击安装。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>新建。启动 jupyter notebook。
spark踩坑记——windows环境下spark安装和运行
热门推荐
蚂蚁搬家
08-10 5万+
本文主要记录windows系统上安装spark，scala，和intelj IDEA，并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala，spark，hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好需要的scala，spark，hadoop版本信息，构建时自动导入相应依赖，常用于企业级的项目开发中......
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
win10配置安装spark-3.0.2-bin-hadoop2.7踩坑上岸
weixin_51432117的博客
03-22 1097
文章目录前言一、软件分享二、经验分享1.环境配置2.解决出错总结 前言 一、软件分享 这里面是hadoop2.7.7所需的文件，其中JDK是1.8.201版本。 链接：https://pan.baidu.com/s/1Bbk9CqTSAmlLwCuXD62LBw 提取码：878s 复制这段内容后打开百度网盘手机App，操作更方便哦 spark去官网下载基于2.7版本的即可http://spark.apache.org/downloads.html 二、经验分享 1.环境配置 代码如下（示例）： 将Ja
win10安装spark流程
NJYR21的博客
05-12 4833
win10安装spark流程说明安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。一、安装JDK官网下载了8u172版本。点击打开链接安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。打开cmd键入java -version，看到如下界面说明java安装成功。二、安装scala官网下载了msi格式，并安装成功。点击打开链接增加pat...
windows中安装Spark
蓝色格子ren的博客
07-27 6256
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
win10环境下spark local模式运行应用程序遇到的五个问题
来一盘地三鲜的专栏
09-30 1146
缘起 一切都是因为穷，穷则思变 前言 公司赶大潮，组建了一套大数据集群服务器，ELK+Spark组合。但是因为资源倾斜，其实并没有给到靠谱的硬件资源。两台硬件服务器，一台华为3手服务器（6年前买的2手，两年前从老机房拉回来），一台戴尔服务器2手服务器。 在上面基础上用vsphere虚拟化了六台虚机，3台es，3台spark，中间夹杂着web服务器，logstash，mysql等软件。刚开始Es集群动不动就挂，为啥，热死了，没法安装独立空调，那就加风扇吧。 Es稳定后，开始折腾spark。由于spa
window10 安装spark
恨_别离的博客
05-29 318
要安装spark需要先安装java、scala、hadoop、之后才能安装spark 下载spark文件：spark-2.4.5-bin-hadoop2.7.tgz 然后解压 配置环境变量：SPARK_HOME 配置path 然后cmd打开执行spark-shell可以验证是否成功 ...
Windows10系统下Hadoop和Hive开发环境搭建填坑指南
m0_67698950的博客
05-25 1128
前提# 笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。 环境准备# 基于笔者的软件版本洁癖，所有选用的组件都会使用当前（2020-10-30）最高的版本。 下面列举部分组件对应的下载地址： Apache Hadoop
运行spark示例Pi可能出现的问题及解决
岸芷汀兰
08-04 4407
今天看了部分Spark的官方文档，spark实战高手之路（4）在IntelliJ中，我尝试运行了SparkPi，整个过程遇到一些问题   首先是当我把相关的包导入好后，Run，报错： Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configurat
window10安装spark
GGBond的博客
08-12 2862
1.下载并安装JDK 点击下一步 选择安装地址,选择完直接下一步 点击完成 点击下一步 出现下面的界面 安装完成后跳出下面的界面,点击关闭 2.配置环境变量 右键计算机属性→高级系统设置→高级里的环境变量→系统变量里的Path→点击编辑→点击新建→浏览→找到下载的java文件,找到2个bin文件,点击确定 配置完成后的效果如下图 打开cmd窗口,输入 java -version ...
window 10下 Spark 安装简单使用
weixin_40759186的博客
03-03 810
文章目录安装虚拟机管理软件vagrant:安装VirtualBox, vagrant默认使用VirtualBox:使用windows的powershell:进入centos, 安装jdk:安装spark:运行spark:测试spark: 安装虚拟机管理软件vagrant: https://www.vagrantup.com/downloads.html 安装VirtualBox, vagrant...
windows安装spark出现The root scratch dir: /tmp/hive on HDFS should be writable
bhcgdh的博客
06-19 3559
我安装的版本如下： Scala 2.11.8 java version “1.8.0_171” spark-2.2.0-bin-hadoop2.7 hadoop-2.7.6 另外安装了winutils到hadoop bin中* 启动spark-shell时报错，其中一个错误是说没有权限，错误如下： The root scratch dir: /tmp/hive on HDFS sh...
win10安装spark
05-28
首先，你需要下载和安装Java运行环境(JRE)或Java开发工具包(JDK)。然后，你需要下载Apache Spark二进制文件并解压缩到你的计算机上。在解压缩后，你需要配置环境变量SPARK_HOME和PATH。 下面是一个大致的步骤： 1. 下载和安装Java运行环境(JRE)或Java开发工具包(JDK)，确保Java已添加到系统环境变量中。 2. 下载Apache Spark二进制文件并解压缩到你的计算机上。 3. 配置环境变量，将SPARK_HOME设置为Spark的安装路径，并将%SPARK_HOME%\bin添加到PATH环境变量中。 4. 启动Spark，通过运行spark-shell或spark-submit命令来验证Spark是否正确安装。 5. 如果你想在Windows上使用Hadoop分布式文件系统(HDFS)或YARN资源管理器，你还需要安装Hadoop并配置相关环境变量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值