Spark-shell 启动不了或者长时间加载

最新推荐文章于 2024-06-19 14:17:35 发布
最新推荐文章于 2024-06-19 14:17:35 发布
阅读量2.3k 收藏 1
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41387313/article/details/106169209
版权

Spark-shell 启动不了或者长时间加载

1.楼主安装的是CDH的版本。
2.问题如下图在这里插入图片描述
3.解决问题的方法：
在CDH界面中进入yarn里面。
然后调节yarn.scheduler.minimum-allocation-mb 参数为1G即可进入
在这里插入图片描述
4.成功解决！

瓜王
关注
[Spark版本更新]--Spark-2.4.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
11-09 6536
2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6562
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
linux执行spark-shell卡住
WBW_WBW的博客
09-09 927
linux系统中执行spark-shell卡住 执行操作： spark-shell 现象：长时间卡住不动 原因： 解决办法：
启动spark-shell出现问题，解决办法
jiaofengaoxue的博客
12-29 7609
在启动spark-shell出现以下问题： 15/12/30 10:05:29 ERROR SparkContext: Errorinitializing SparkContext. java.lang.IllegalArgumentException: WrongFS:file://219.226.86.159:~/home/iespark/hadoop_program_files/spar
Spark三种运行模式（SparkShell使用）
最新发布
m0_71010347的博客
06-19 1972
唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。
spark-shell启动失败
一亩三分地
03-17 1937
执行spark-shell命令后，出现以下报错： java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate b...
CDH-Spark2-shell启动失败
欢迎来到我的小家
05-16 641
CDH5.16.1版本 spark2.4.0版本 报错信息如下图所示 报错原因分析：Spark1.4以后，所有spark的编译都是没有将hadoop的classpath编译进去的。所以必须在spark-env.sh中指定hadoop中的所有jar包。 进入Spark2组件，点击配置选项，搜索如下： spark-env.sh 配置如下 export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath) 之后重新部署客户端配置 再次启动s
【完美解决】- 开启Spark-Shell时卡死 , 或者端口占用 的解决方法
兀坐晴窗独饮茶
06-02 3725
报错信息 错误原因 : 一般是错误的退出spark-shell 比如使用 Ctrl + C 解决方法 输入命令 : netstat -npl | grep 4040 使用 kill -9 进程编号 关闭 占用端口 输入 ps -ef | grep spark-shell 使用 kill -9 进程编号 关闭 spark-shell的进程即可 ...
spark上的一些问题
SARACH_WONG的博客
07-02 324
之前不记录碰到的问题，解决的思路，导致之后再次碰到又在查查查… ———————————————————————————————————— 表象：spark-shell太卡了，在进去之后报java内存不够的问题 原因： 开了太多spark-shell，又异常关闭 解决： pgrep java pkill java ———————————————————————————————————— 表象：插入...
Spark编程基础：使用spark-shell进行代码调试和测试
# 1. 简介 ## 1.1 什么是Spark编程 Spark是一个快速、通用且高级的...Spark-shell提供了丰富的功能和灵活的操作方式，使得开发者可以通过交互式命令行界面快速编写和调试Spark程序。 Spark-shell的用途包括： - 快
Spark日志分析--json格式、传统格式日志
timicai的博客
11-23 498
目录一、Json文件日志1.1 清洗数据1.2 rdd转dataFrame格式1.3 提取'cm'中信息1.4 提取'event'中信息1.5 按'en'中的类型分类生成表1.6 将生成的表保存到hive库1.7 查看hive中的表二、传统格式日志2.1 数据清洗2.2 拆分url2.3 数据保存到MySQL库 点击下载样例文件 提取码: vjex 一、Json文件日志 使用数据 op.log文件 注：spark-shell界面操作 1.1 清洗数据 数据样例展示：cm ap et id "cm": {"l
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
spark-shell出错_解决方法
sundujing的博客
05-12 4911
输入spark-shell出错 修改配置文件spark-default.conf 修改内容如下spark.authenticate=false spark.dynamicAllocation.enabled=true spark.dynamicAllocation.executorIdleTimeout=60 spark.dynamicAllocation.minExecutors=0
spark 使用中会遇到的一些问题及解决思路
热门推荐
xiao_jun_0820的专栏
04-14 6万+
7 内存溢出问题     在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题： Exception in thread "Thread-2" java.lang.
Spark Structured Streaming: 自维护（任意）状态流的“超时”(Timeout)问题
Laurence的技术博客
06-28 3465
此“超时”非彼“超时” 在我们开始这篇文章之前，我们必须要先弄清除一下问题：为什么流的上的状态会有“超时”问题？超时机制是为什么样的业务场景而设计的？通常情形下，人们一种直白的想法是：某种状态在长时间没有得到来自新数据的更新时，我们可以认为这个状态是“超时”了，它应该不复存在了，应该永远的被移除掉。然而遗憾的时是，Spark对于“状态”以及“超时”是另外一种理解： Spark认为既然流是没有边...
Spark性能调优
岁月的拾荒者
09-28 801
1、常规性能调优 1.1、常规性能调优方案一：最优资源配置 Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 可以进行分配的资源如下表所示： 名称 说明 --driver-memory 配置driver内存（影响不大） --executor-memor...
Spark 启动Spark Shell环境出错
m0_65893781的博客
10-31 1802
Spark 启动Spark Shell环境出错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
spark启动spark-shell报错
04-29
当启动Spark Shell时，可能会遇到各种错误。以下是一些常见的错误和解决方法： 1. 错误：`java.lang.OutOfMemoryError: Java heap space` 解决方法：增加堆内存大小。可以通过设置`spark.driver.memory`和`spark.executor.memory`来增加内存大小。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --driver-memory 4g --executor-memory 4g ``` 2. 错误：`java.lang.ClassNotFoundException: org.apache.spark.sql.hive.HiveContext` 解决方法：这个错误通常是由于缺少Hive相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hive依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.spark:spark-hive_2.12:3.1.2 ``` 3. 错误：`java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem` 解决方法：这个错误通常是由于Spark配置文件中的一些错误引起的。请检查`spark-defaults.conf`文件中的配置项是否正确，并确保Spark的配置文件没有任何语法错误。 4. 错误：`java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream` 解决方法：这个错误通常是由于缺少Hadoop相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hadoop依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.hadoop:hadoop-client:3.2.0 ```
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值