Spark3.1.2单机安装部署问题处理记录

最新推荐文章于 2022-08-02 19:36:23 发布
最新推荐文章于 2022-08-02 19:36:23 发布
阅读量1.1k 收藏
点赞数
分类专栏： spark 文章标签： apache spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37191919/article/details/121975677
版权

引用的安装的文档为：Spark3.1.2单机安装部署_花菜回锅肉的博客-CSDN博客

但是可能存在正常启动master后，启动worker时报错：

org.apache.spark.SparkException: Invalid Spark URL: spark://****

可能时由于机器名称有“_”造成的，需要修改hostname然后重新启动master后，再启动worker；

不重启的情况下修改hostname的操作，引用文档：

linux下如何更改主机名_如何在不重新启动的情况下更改Linux主机名_culintai3473的博客-CSDN博客

私家车
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark报错： Invalid Spark URL: spark://YarnScheduler@stream_test_nb:40659
九师兄
07-04 2382
Invalid Spark URL: spark://YarnScheduler@stream_test_nb:40659
org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@windows10.microdone.cn
lesssssss的博客
04-13 546
百度了很多,有的说是计算机用户名中间有特殊字符,改了之后还是报这个错误,后来在spark初始化环境后面加上设置主机名和绑定的选项,set(“spark.driver.host”, “aaa”).set(“spark.driver.host”, “127.0.0.1”) 就可以了。
个人总结-Spark运行异常问题汇总
qq_34560135的博客
07-17 6643
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. $ vim /etc/profile #添加以下两句话 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_
windows环境下Invalid Spark URL: spark://HeartbeatReceiver@xxxx报错解决。
cclovezbf的博客
10-15 1706
第一种方法 Invalid Spark URL: spark://HeartbeatReceiver@xxxx报错解决_wzk_cool的博客-CSDN博客 服务器修改主机名： 1. hostname新主机名（重启后失效） 2.vi /ect/sysconfig/network（重启后永久生效） windows 这个都是很常规的，今天说第二种。 我就是要在本地调试，而且我的机器就是要入域，同时入域了这个机器名还就是不能改！！！ 那怎么搞？？？ 拒绝抄袭，追寻真理 从我做起。 ...
解决spark运行时的报错 org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@*******
yuanhong5212的博客
05-23 5647
百度了很久，一直没解决问题， 然后谷歌了一下，有一个很简单的方法解决该问题： 去掉主机名的下划线 由于有些公司需要将电脑入域，入域的时候机器名有一定格式，刚好我们有下划线 比如SH_zhangsan 只要把下划线换成-就可以了 大致方法： 右键我的电脑 change settings - change - 修改主机名 - 确定 -重启 运行之前报错的spark项目， 整个世界清静了 ...
解决报错： YarnScheduler: Initial job has not accepted any resources
发现问题，并解决问题，批判性思维
08-02 1422
解决报错： YarnScheduler: Initial job has not accepted any resources。
基于Scala的Apache Spark 3.1.2大数据处理工具设计源码
最新发布
04-15
基于Scala的Apache Spark 3.1.2大数据处理工具设计源码，该项目包含14251个文件，主要文件类型有4018个scala源文件，以及1559个q脚本文件。此外，还包括1009个txt文本文件，984个java源文件，以及488个python源文件...
spark-3.1.2-bin-hadoop3.2.zip
10-19
对于数据分析、机器学习和实时流处理等任务，Spark 3.1.2 提供了更高效的解决方案。 2. **Hadoop 3.2 简介** Hadoop 3.2 是 Hadoop 的一个重要里程碑，它引入了多项改进，如提升存储容量、支持多活 NameNode、改进...
spark-3.1.2-bin-hadoop3.2.tgz
09-17
Spark 3.1.2是Apache Spark的一个重要版本，它为大数据处理提供了高效、可扩展的框架。这个版本是针对Scala 2.12编译的，并且与Hadoop 3.2兼容，这意味着它可以充分利用Hadoop生态系统的最新功能。在Linux环境下，...
spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar
06-27
- spark-3.1.2-bin-hadoop2.7.tgz：这个版本除了包含基本的Spark组件外，还集成了Hadoop 2.7的二进制依赖，方便在Hadoop集群上直接部署和运行Spark应用。 5. 安装与运行： - 解压：使用tar命令解压tgz文件，rar...
NUMA内存架构下的Spark性能优化
03-30
这是第12次上海 Spark Meetup的分享资料.本文回顾NUMA的技术要点以及它如何影响内存密集型Spark应用程序的性能。然后将介绍识别NUMA性能问题的工具和方法，以及作者团队为Spark任务调度添加NUMA感知方面的工作。
Spark3.1.2 Docker镜像资源
01-29
Docker制作Spark3.1.2镜像 步骤一：docker build -t registry/spark:3.1.2 -f kubernetes/dockerfiles/spark/Dockerfile . 步骤二：docker images查看镜像 步骤三：导出镜像 docker save -o spark3.1.2.tar ...
hadoop平台建设的一个大坑
dadaerni的博客
05-18 339
千万不要往主机名里加特殊符号！ 千万不要往主机名里加特殊符号！ 千万不要往主机名里加特殊符号！ 我就往主机名里添加了一个下划线，结果namenode起不来，spark-sql报错，各种奇奇怪怪的问题。 包括但不限于： 1.报错：Invalid Spark URL: spark://HeartbeatReceiver 2.报错：Stopping a MetricsSystem that is not running 3.报错：Error initializing SparkContext 4.
Invalid Spark URL: spark://HeartbeatReceiver@xxxx报错解决
qq_36323157的博客
03-23 2025
安装Spark的时候报错Invalid Spark URL: spark://HeartbeatReceiver@xxxx，纠结大半天，郁闷。 1. 百度上有文章说是因为主机名带了下划线导致的，去掉或者改成“-”就可以。 2.补充一点，主机名带点（.）也不行。修改主机名即可。如CentOS7.0修改成CentOS就可以。 修改主机名： 1. hostname新主机名（重启后失效） 2.vi /ect/sysconfig/network（重启后永久生效） ...
Spark源码学习笔记7-HeartbeatReceiver
lzy2014的专栏
05-14 3133
我们继续了解SparkContext中的_heartbeatReceiver
Spark3的详细安装步骤
qq_45263520的博客
04-26 3767
Spark的安装。Spark3.1.2的安装步骤。启动Spark集群。查看后台进程。查看Spark进程。通过Web界面访问Spark。验证Spark的安装是否成功。
Spark3.1.2 Standalone高可用HA分布式部署(含pyspark）
Bulut0907
10-15 1868
以下操作除非特殊说明，否则都是在bigdata001上操作。现在kill掉bigdata001上的master。
Spark编程指南之五：Spark集群相关参数配置
砥砺前行的博客
01-02 741
spark集群相关配置
spark3.1.2环境搭建
月夜楓
08-26 2089
Spark环境搭建Spark环境搭建下载spark配置过程复制spark到各个节点启动spark启动timelineserver服务在yarn-site.xml中添加如下配置：重启yarn服务启动timelineserver服务验证spark-shellspark on hive配置通过spark-sql连接使用thriftserver服务，利用beeline连接代码方式（暂略）设定Spark动态资源分配配置过程修改yarn配置增加Spark配置启动shtiftserver服务任务执行 Spark环境搭建

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值