Spark页面8080端口访问不了（spark部署在阿里云上）

已于 2022-03-14 16:17:29 修改
阅读量4.8k 收藏 2
点赞数
文章标签： 阿里云 服务器 http
于 2022-03-14 15:58:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49344979/article/details/123480294
版权

问题：在阿里云服务器部署完成Spark服务器后想通过http//xs:8080 (xs是我在阿里云上创建的服务器实例的名称)访问spark8080端口，结果显示访问不到。
请添加图片描述
1，首先我按照网上建议，查看了自己是否是因为8080端口被占用，如果被占用可以在
/sbin/start-master.sh
配置文件中修改端口号（任意不被占用的端口即可）请添加图片描述
但是我的问题不是端口占用引起的

2.因为是阿里云服务器，我又检查了我云服务器的配置，果然发现云服务器没有开发8080端口。于是在安全组配置中添加的8080端口

最低0.47元/天 解锁文章
卡卡S君
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark页面8080端口访问打不开
Knight
03-17 4072
报错原因 Spark端口号和其他应用发生冲突 解决方案 vi /export/servers/spark/sbin/start-master.sh 修改端口号 分发集群，重启
关于访问Spark管理界面hadoop01:8080的相关问题解决
zlashouch的博客
03-07 1782
使用记事本打开C:\Windows\System32\drivers\etc路径下的host文件，查看是否自己的host文件被修改。如果没有下图红框里的内容，根据自己的虚拟机IP地址完成映射就行。当启动Spark集群后，使用jps命令可以看到Hadoop01上启动了Master进程，Hadoop02和Hadoop03上启动了worker进程时，访问Spark管理界面。来查看集群状态时出现报错，显示页面无法访问。
spark都可以使用，三个节点分别有master、woker进程，测试spark程序也可以，就是打不开master:8080的网页。
lclchong的博客
07-30 904
spark都可以使用，三个节点分别有master、woker进程，测试spark程序也可以，就是打不开master:8080的网页。
spark web UI端口 4040,18080， 8080页面访问不了
本命年
12-22 2762
参考网址：https://blog.csdn.net/heitao5200/article/details/79674684
Spark配置历史服务器
zhongmingyu
03-24 884
由于 spark-shell 停止掉后，集群监控 linux1:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。1 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf。3 注意：需要启动 hadoop 集群，HDFS 上的directory 目录需要提前存在。2 修改 spark-default.conf 文件，配置日志存储路径。4 修改 spark-env.sh 文件, 添加日志配置。
Spark技术解析及在百度开放云BMR应用实践
03-03
2014年，Spark开源生态系统得到了大幅增长，已成为大数据领域最人气的开源项目之一，活跃在Hortonworks、IBM、Cloudera、MapR和Pivotal等众多知名大数据公司，更拥有SparkSQL、SparkStreaming、MLlib、GraphX等多个...
Spark在VM的hadoop架构基础上安装
03-01
1namenode，4datanodenamenode:compute-ndatanode:compute-0-1,compute-0-2,compute-0-3,compute-0-4安装的版本Linux版本JDKHadoop本人下载的是Spark-2.6.0和Scala2.11.6spark下载地址...下载地址...
Spark2.4.3集群部署
09-14
Spark2.4.3集群部署是将Spark集群安装到多台机器上，以达到分布式计算和大规模数据处理的目的。下面是Spark2.4.3集群部署的详细知识点： 1. Master 节点配置 Master 节点是Spark集群的中心节点，负责协调和管理整个...
阿里云emr spark kafka redis MongoDB例子demo
04-04
1. **配置Kafka**: 首先，需要在阿里云上部署和配置Kafka集群，确保生产者和消费者可以正常工作。 2. **创建Spark Streaming应用**: 在Scala或Java中编写Spark Streaming程序，导入必要的库，如`org.apache.spark....
spark on yarn 和SparkjobHistory配置和常见erro
weixin_59371977的博客
03-27 3323
#spark on yarn 和SparkjobHistory配置和常见erro 感谢开源和各位前辈对知识的无私奉献 希望我的这篇文章，能对您有所帮助 软件版本信息: Vmware16，Centos7，hadoop2.7.2，jdk1.8，scala-2.11.8，spark2.0.1 如果有需要的软件在下面链接里，很抱歉，centos的镜像因为太大没有办法上传到网盘里，需要劳烦您自己找一下资源 物理机配置： 10代i5，24G内存，1000g固态 虚拟机配置 5G内存，50G硬盘 Vmware： 链接：h
spark报错——无法访问WebUI
weixin_63507910的博客
04-17 1222
并且spark启动无报错，shell登入正常，唯独无法访问WebUI，通过日志最后发现，并非无法访问WebUI，而是spark在启动中，无法绑定到端口8080，导致spark绑定到其他端口，所以无法通过8080访问WebUI。同时，无法访问WebUI也有很多原因，如进程启动失败等导致，建议读者通过日志记录查找问题，最后通过搜索引擎解决问题。笔者在安装spark，并配置spark高可用后，发现无法访问spark的WebUI，即无法访问。关于进程启动失败，而无法访问WebUI，请看笔者这篇文章。
Spark独立模式http://localhost:8080访问不了
大强博客
02-02 3654
问题描述： Spark独立模式 手动启动集群 ./sbin/start-master.sh http://localhost:8080访问不了 解决办法： 1、检查环境安装配置是否正确 vi /etc/profile # Java export JAVA_HOME=/usr/java/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin ...
Spark以yarn-client提交任务时报错超时，Connection to 192.168.. /has been quiet forms while there are outstanding...
weixin_30566111的博客
07-13 498
报错信息如上，具体是运行FusionInsight给的样例SparkPi，在local环境下是可以的，但是如果以yarn-client模式就会卡住，然后120s以后超时，其实以yarn-cluster模式也是会报错的，开始在spark-default-conf 中加上了driver的spark.driver.host = $客户端IP，没用，将服务器各个主机免密登陆，没用，再将客户端的ip添...
Hadoop与Spark以及那些坑
lyx的专栏
12-21 3369
这两天在搭建Hadoop与Spark的平台，要求是能够运行Spark，并且用python编程。笔者也不打算写一个很详细的细节教程，简单做一个笔记blog。 1.选择         笔者一开始是在虚拟机上搭建的，创建了三个ubuntu虚拟机，然后开始布置分布式系统，但是，后来发现，资源完全不够用。笔者台式机16G内存，2T硬盘，i7第四代处理器，然而，还是被hadoop拖死。
spark页面8080端口访问出错的问题
qq_38709565的博客
03-23 6143
我在安装完spark集群后，在主节点上查看spark的UI界面：http://master:8080页面访问不了！！！通过上网上查看。发现8080端口会和其他端口共用，即会产生冲突，其实就是端口占用了。因此我们只需要将spark配置文件中的访问端口改成其他的就ok了！ 因此，我们打开主节点的配置文件：“/usr/local/spark/sbin/start-master.sh”文件： vim...
阿里云邮件推送邮件发送失败的问题排查解决
最新发布
danplus的博客
07-04 756
阿里云邮件推送邮件发送失败可能由多种原因引起，了解并掌握这些原因及其解决方法至关重要。AokSend，API与SMTP接口携手阿里云，邮件推送更专业，高效稳定，助您轻松实现邮件营销新高度！
Spark 阿里云部署
06-09
好的，下面是 Spark 在阿里云上的部署流程： 1. 在阿里云上创建一台 ECS 实例，并选择适合的操作系统。 2. 安装 JDK 和 Scala。 3. 下载并解压 Spark 安装包。 4. 配置 Spark 环境变量，包括 SPARK_HOME、PATH 等。 5. 配置 Spark 相关的 Hadoop 配置文件，如 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml。 6. 在 Spark 安装目录下的 conf 目录中，创建 spark-env.sh 文件，并设置 Spark 运行所需的环境变量，如 JAVA_HOME、SPARK_MASTER_HOST、SPARK_WORKER_CORES、SPARK_WORKER_MEMORY 等。 7. 启动 Spark 集群，包括启动 Spark Master 和 Spark Worker。 8. 验证 Spark 集群是否正常运行，可以使用 Spark 自带的示例程序进行测试。 需要注意的是，Spark 集群的部署需要考虑多个方面，如网络配置、安全配置、性能调优等。如果您是初学者，可以参考阿里云官方文档或者 Spark 官方文档进行学习和实践。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值