Spark单机模式搭建碰到的port异常

最新推荐文章于 2022-07-13 20:57:47 发布
最新推荐文章于 2022-07-13 20:57:47 发布
阅读量305 收藏
点赞数
按照网上的教程在搭建spark的时候出现了port无法绑定的问题，重试10几次后直接失败，无法创建sc。
解决方法，在spark-env.sh中加入

export   SPARK_MASTER_IP=127.0.0.1
export  SPARK_LOCAL_IP=127.0.0.1


wjcaitu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark yarn模式的搭建.docx
06-15
这种模式允许 Spark 利用 Hadoop 的集群资源管理和调度能力，使得 Spark 能够更好地融入到已经部署了 Hadoop 的环境中。搭建 Spark On Yarn 集群主要涉及三个组件的安装和配置：Zookeeper、Hadoop 和 Spark。下面将...
DataNode启动失败问题解决
持续学习持续开发，我是雷学委！
05-16 3714
启动DataNode 提示Missing NameNode address start all没有报错，但是发现这NameNode的webUI上面DataNode没有挂上。 进入DataNode查看日志发现下面问题。 datanode 进程没有起来 NodeManager启动过一段时间退出了。 错误 java.io.IOException: No services to connect, missing NameNode address. 2021-05-15 16:31:40,824 WARN org
hadoop常见错误及解决办法！
沉底的石头
05-30 1万+
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。        /etc/security/limits.
spark master web ui 端口8080被占用解决方法
duncan
07-15 927
spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：   1、cd SPARK_HOME/sbin   2、vi start-master.sh     3、定位到下面部分内容：   if [ "$SPA...
Spark调优之 -- Spark资源调优
erainm
10-29 301
1. 调优概述 2. Spark作业基本运行原理 3. 资源参数调优 4. 资源参数参考示例
spark部署报绑定端口失败问题解决
mmyzhenyuanzi的博客
11-17 1243
安装配置spark后，启动spark集群，报错如下 16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7077. Attempting port 7078. 16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7078. Attempting port 7079. 16/03/30 14:3
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
Spark环境搭建——HA高可用模式
01-20
Spark的高可用（HA）模式是为了克服其Standalone集群中Master节点的单点故障问题而设计的。在标准模式下，Spark Standalone集群由一个Master节点和多个Slave节点组成，Master负责调度作业和管理资源，但这样的架构...
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备...
Spark基础环境搭建.pdf
12-09
Spark基础环境搭建
Spark的安装和基础编程
半濠春水的博客
07-13 2924
（一）熟悉Spark Shell。 （二）编写Spark的独立的应用程序。
运行hadoop自带的计算圆周率异常
01-23 839
运行hadoop2自带的圆周率计算方法时，报错，找了半天，原来是在配置hadoop临时目录时，没有给权限，找到配置的hadoop临时目录文件夹，修改权限即可 Application application_1548242073562_0005 failed 2 times due to AM Container for appattempt_1548242073562_0005_...
SPARK_LOCAL_IP设置
小鱼的博客
08-06 1495
获取本机IP地址方法 https://www.cnblogs.com/poloyy/p/12212868.html export SPARK_LOCAL_IP=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")
【Hadoop学习之八】MapReduce开发
weixin_30421525的博客
01-16 277
环境　　虚拟机：VMware 10 　　Linux版本：CentOS-6.5-x86_64 　　客户端：Xshell4　　FTP：Xftp4 　　jdk8 　　hadoop-3.1.1 伪分布式：HDFS和YARN 伪分布式搭建，事先启动HDFS和YARN 第一步：开发WordCount示例 package test.mr; import org.apache.hadoop.co...
异常：org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried
freedom_zzz的博客
09-01 1813
项目场景： 提示：Hadoop 集群版本为3.2.2 问题描述： 在启动 Hadoop 集群后，nodemanager 日志一直提示： INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTim
Your endpoint configuration is wrong
Maishuchongji的博客
10-02 4830
报错全文：retry.RetryInvocationHandler: java.net.ConnectException: Your endpoint configuration is wrong; For more details see: http://wiki.apache.org/hadoop/UnsetHostnameOrPort, while invoking ApplicationClientProtocolPBClientImpl.getNewApplication over null a
Spark端口
tangfatter的博客
12-23 5427
一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字
Spark部分：几个重要的端口汇总
热门推荐
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Spark由于端口号无限增长报错和任务跑完就关闭的解决方案
qq_15300683的博客
04-24 1866
Spark任务都会绑定一个端口来显示WebUI，默认端口为4040，如果被占用则依次递增+1端口重试，重试次数由参数spark.port.maxRetries=16控制，默认重试16次后就放弃执行当有17个app进来会报错，最多能运行16个作业我们工作中，一定要把这个参数调大，一般都好几千spark.eventLog.enabled=true 即使spark任务运行结束，也可以访问sparkUI，...
M1spark单机模式安装
最新发布
03-27
M1spark是一种用于在单机上运行Apache Spark的模式。下面是M1spark单机模式安装的步骤： 1. 首先，确保你的机器上已经安装了Java Development Kit (JDK)。你可以通过在终端中运行`java -version`命令来检查是否已经...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值