Windows系统下启动spark出错问题解决方法

最新推荐文章于 2024-10-16 11:11:15 发布

hunter95671

最新推荐文章于 2024-10-16 11:11:15 发布

阅读量3.4k

点赞数 1

分类专栏： spark 文章标签： spark 大数据

本文链接：https://blog.csdn.net/hunter95671/article/details/119797976

版权

spark 专栏收录该内容

11 篇文章

订阅专栏

一、报错异常

问题一：在执行spark-shell时报错，提示java路径问题
问题二：执行spark/bin目录下的spark-shell.cmd闪退

二、解决方法

首先要保证spark路径上没有中文和空格。

遇到问题一在执行spark-shell时报错，提示java路径问题时，先确认JAVA_HOME的路径中是否有中文与空格，将环境变量修改正确重试即可。

遇到问题二在执行spark/bin目录下的spark-shell.cmd后闪退，可以尝试使用管理员身份运行

启动成功！
在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

hunter95671

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark应用启动报错：Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 25952

甘蓝的专栏

07-18

708

源码层面分析并解决Spark应用启动报错：Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859

Spark 启动报错

LENG_HHH的博客

06-13

1524

spark报错

2 条评论您还未登录，请先登录后发表或查看评论

Spark-遇到的坑-启动spark报错

a1032818891的博客

07-26

1万+

1.解决措施： Please instead use: - ./spark-submit with --num-executors to specify the number of executors - Or set SPARK_EXECUTOR_INSTANCES - spark.executor.instances to configure the number of instanc...

Spark启动报错

sgsdsdd的博客

03-26

1988

localhost: full log in /root/install/spark-2.4.5-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop5.out 原因：打开此文件后，发现java.net.BindException: 无法指定被请求的地址: Service ‘sparkWorker’ failed after 16 retries (on a random free port)! 解决方法：v

启动spark报错

auq_jyz的博客

04-29

301

启动Hadoop：可以正常启动启动spark：出现坏的替换我搜索了好多地方都没有解决这个问题的答案，有大神帮忙解决一下吗

【spark-shell本地启动报java错误】本地windows安装spark在控制台输入spark-shell出错：StringIndexOutOf Bounds Exception

gdhbc的博客

05-28

940

前提：本地java、hadoop已经安装好，但本地cmd启动spark-shell报出下面错误，我的配置是hadoop2.7、spark-2.3.1。提示:没有配置好hadoop、spark(两者版本有联系，有对应)请先在本地安装好hadoop、spark。出错原因：本地java版本过高. 处理方法：降低java版本到java8。如果不想影响你之前的java环境配置，你可以在本地多安一个java，想用哪个就到环境变量里面修改路径即可。 java8百度云资源：链接: https://pan.b

windows安装spark后spark-shell启动报错

木凡_Denius

05-17

6294

Hadoop lib下已添加对应版本的winutils cmd输入D:\peizhi\hadoop\bin\winutils.exe chmod 777 /tmp/hive 不能成功启动spark-shell <console>:16: error: not found: value sqlContext import sqlContext.implicits._

Spark环境搭建-Windows

qq_47844519的博客

07-06

2427

spark Windows搭建

Spark在Windows下的环境搭建

热门推荐

大气人生

10-19

13万+

由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。

（windows）虚拟机搭建spark

huitailangZz的博客

09-23

3916

对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，

Spark启动报错Exception in thread “streaming-start“ java.lang.StackOverflowError

司马班如

05-24

515

SparkStream提交任务的时候，在客户那里报了一个异常：Exception in thread “streaming-start” java.lang.StackOverflowError，详细的错误如图所示：业务的模型是：先把数据发送到Kafka，然后SparkStream从Kafka中读取数据，就只是在启动的时候报错，经过分析，我们的原因是：第一次批量处理的数据太多，jvm堆栈没有及时回收垃圾，也可能是由于堆栈太小导致的，我们的做法是调整dirver的jvm的参数，如下所示：详细的启动脚本

spark 在window启动spark-shell.cmd异常:Master must either be yarn or start with spark, mesos, k8s, or loca

weixin_43588364的博客

10-27

3694

spark-3.0.3-bin-hadoop2.7.tgz解压至D:盘，启动spark-shell.cmd出现异常：Exception in thread “main” org.apache.spark.SparkException: Master must either be yarn or start with spark, mesos, k8s 启动spark客户端： D:\spark-3.0.3-bin-hadoop2.7\bin>spark-shell.cmd Java HotSpot(T

spark-shell 启动报错

weixin_30830327的博客

12-03

311

错误如下： [root@hadoop conf]# spark-shell --master local[2] Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger at java.lang.Class.getDeclaredMethods0(Native Method) ...

spark-shell启动spark报错

zhang__rong的博客

11-05

1933

spark-shell启动spark报错前言　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。描述　　在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴...

启动Spark报错：24/10/16 09:14:18 ERROR spark.SparkContext: Error initializing SparkContext.java.lang.Clas

最新发布

guyuan16的博客

10-16

523

spark启动报错问题解决

Spark3.2.* spark-shell在windows启动失败原因characterIllegal character in path at index

李木有大本事的博客

02-22

2097

碰到这个问题也是一脸懵逼，刚开始以为是自己的环境问题，但是pyspark就没什么问题，后来在StackOverFlow中找到了解决方案 StackOverflow：https://stackoverflow.com/questions/69669524/spark-illegal-character-in-path 两种解决方案是spark降级3.0.*就没有这种情况启动两个spark，一个master，然后用spark-shell连接masterspark-class org.apache.spa

spark-sql 启动报错 --java.io.IOException:Permission denied

Ru_ach的博客

12-12

3909

YARN运行模式下：启动spark-sql失败：报错： java.lang.RuntimeException: java.lang.RuntimeException: java.io.IOException: Permission denied ……. Caused by: java.io.IOException: Permission denied at java.io.Uni...

Spark任务启动报错处理 SparkException: Couldn‘t find leaders for Set([xxxx,0])

m0_37751431的博客

11-05

235

引子删除topic重新创建问题进入kafka的bin目录使用命令删除，结果只是标记删除 > bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test Topic recommend_inverse_feedback is marked for deletion. 解决进入zookeeper的bin目录，登录zookeeper客户端命令：sh zkCli.sh > ls /brokers/topics

【Spark】双击spark-shell.cmd闪退的问题及解决方法

sinat_38650186的博客

03-13

1513

搭建Windows端的Spark时，将spark 3.0.0.0 压缩包解压到无空格无中文的路径下，以管理员身份双击bin中的spark-shell.cmd，结果出现闪退。根据报错信息，是java相关的问题，根据官网的版本要求，是java8/11。检查自己的JAVA_HOME环境变量，发现还是17，将它改回8。2）root cause: JDK版本与Spark版本不兼容。1）在notepad++ 中编辑该文件，末尾加上pause。