mac idea spark运行报错WARN Utils: Service ‘sparkDriver‘ could not bind on port 0. Attempting port 1.

于 2021-11-14 19:35:02 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： spark 文章标签： macos intellij-idea spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longlovefilm/article/details/121321919
版权

报错截图如下：

在hosts里加入 本机ip 机器名

如:192.168.22.22 centos7

解决...

原因是sparkDriver会根据主机名去找地址,找不到就报错..

增加环境变量即可

SPARK_LOCAL_IP=127.0.0.1

也可以在idea Edit  Configurations里修改即可，注意圆框处不要有空格

 

 

longlovefilm
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using
01-09
搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说，百度收集些相关文档比可参考文章： Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… hadoop 版本：CDH hadoop-2.6.0-cdh
spark解决报错WARN util.Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.错误的解决方法
qq_41026556的博客
08-29 2708
需要在spark-defaults.conf文件中设置：spark.ui.port=4040，spark-env.sh中设置export SPARK_LOCAL_IP=master(主机名)。就可以了。
spark报错：warn util.utils::service 'sparkUI' can not bind on part 4040.Attempting port 4041.
weixin_30820077的博客
04-28 521
转载自：https://blog.csdn.net/weixin_41629917/article/details/83190258 转载于:https://www.cnblogs.com/chenzhihong294/p/10781302.html
Scala学习之 java.net.BindException: 无法指定被请求的地址: Service 'sparkDriver' failed
qq_38603049的博客
11-05 1115
在Scala本地运行时，出现无法指定被请求地址，通过朋友帮助终于解决问题` java.net.BindException: 无法指定被请求的地址: Service ‘sparkDriver’ failed after 16 retries! 19/011/5 20:10:34 WARN Utils: Service ‘sparkDriver’ could not bind on port 0. A...
“Service 'Driver' could not bind on port”错误的解决方法
坐忘峰
09-11 5706
在deploy model为“cluster”时，出现这个错误，按照网上的各种方式都是了，比如以下方式： 1、修改export SPARK_LOCAL_IP=127.0.0.1; 2、保证SPARK_LOCAL_IP为本机真实IP; 3、关闭防火墙和SELINUX 4、关闭IPV6 等等都不行，最后同事在spark-evn.sh中，通过以下设置方式问题解决了。 export SPARK_LOCAL_
WARN Utils: Service ‘sparkDriver’ could not bind on port 0. Attempting port 1 报错
KK的博客
07-23 2613
WARN Utils: Service ‘sparkDriver’ could not bind on port 0. Attempting port 1.  java.net.BindException: 无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries! 本地启动好的,在一台服务器启动也是好的,放另一台报这个错, 查后, ...
Spark运行shell报错：Service 'sparkDriver' could not bind on a random free port.
MyQGirl666的博客
05-16 9575
安装了spark之后，想要运行Scala版本的shell，于是进入Spark目录，执行下面的代码./bin/spark-shell出现报错，前面是一些WARN对于WARN WARN Utils: Service 'sparkDriver' could not bind on a random free port. You may check whether configuring an appro...
Windows10：spark报错。WARN Utils: Service ‘SparkUI‘ could not bind on port 4040. Attempting port 4041.
灿灿的博客
07-16 5653
最近在单机练习SPARK的过程中，遇到下面的问题： 本机：Windows10 主要问题是：我之前打开了一个shell窗口，用Scala模式运行。 然后在里面设置了spark的context，此时spark-shell里已经有一个context对象了，所以在pyspark中我新建创建的数据无法使用。 解决方法： 关闭之前打开的spark-shell. 这里我采用的是ctrl+c，退出该程序命令。 ...
Spark运行时遇到的错误 scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
01-07
scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your clus ter UI to ensure that workers are registered and have sufficient resources 调度器：初始化Job时没有足够的资源，...
kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.
01-02
WARN [Consumer clientId=consumer-1, groupId=console-consumer-950] Connection to node -1 could not be established. Broker may not be available. 这是因为你的配置文件中的PLAINTEXT跟你请求的内容不同。...
winutils.exe：解决hadoop在windows运行出现的bug
12-07
如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：F:\hadoop2.7.x即可。
解决Could not locate executable null\bin\winutils.exe
07-26
在windows环境下的eclipse或者idea中编写spark应用时，有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常： java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop...
log4j:WARN No appenders could be found for logger (org.springframework.context.s
04-22
NULL 博文链接：https://wait7758521.iteye.com/blog/1933964
Vue.js报错Failed to resolve filter问题的解决方法
10-22
主要介绍了Vue.js报错Failed to resolve filter问题的解决方法,需要的朋友可以参考下
2020-web前端-vue项目出错-[Vue warn]: Invalid prop: custom validator check failed for prop “index”.
01-08
1.在写循环的时候遇见这个的 原创文章 96获赞 50访问量 6万+ 关注 私信 展开阅读全文 作者：itwangyang520
node.js中的console.warn方法使用说明
10-25
主要介绍了node.js中的console.warn方法使用说明,本文介绍了console.warn的方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下
大数据hadoop winutils.exe
05-09
支持windows开发hadoop的连接,解决报警Did not find winutils.exe: java.io.FileNotFoundException
learningVue：Vue.js原始码解析
02-06
学习Vue介绍Vue.js源码分析，记录了个人学习Vue.js源码的过程中的一些心得以及收获。以及对于Vue框架，周边库的一些个人见解。在学习的过程中我为Vue.js（2.3.0），Vuex（2.4.0），Vue-router（3.0.1）加上了注释，...
cwa-viewer.on.dedyn.io:在网络浏览器中查看针对@ corona-warn-app提交的诊断密钥
04-30
在网络浏览器中查看针对@ corona-warn-app提交的诊断密钥
Spark执行样例报警告：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any
最新发布
06-11
worker offers yet. 这个警告信息表明，Spark调度程序还没有将任何任务分配给可用的工作节点。这可能是由于以下原因之一造成的： 1. 没有足够的可用资源来执行任务，例如CPU、内存、磁盘空间等。 2. Spark调度程序正在等待工作节点的状态更新，以便判断哪些节点是可用的。 3. 在启动Spark作业时，可能会出现配置错误或网络问题，导致Spark无法与工作节点通信。 为了解决这个问题，你可以尝试以下几种方法： 1. 首先检查你的集群配置和资源分配是否正确，确保有足够的可用资源来执行任务。 2. 如果你的工作节点数量较少，你可以尝试增加节点数量。 3. 确保你的网络环境正常，并且所有节点都可以相互通信。 4. 检查日志文件，查看是否有其他错误或警告信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值