spark伪分布式搭建及spark页面8080端口访问出错的问题

最新推荐文章于 2023-04-01 11:46:08 发布
最新推荐文章于 2023-04-01 11:46:08 发布
阅读量2.3w 收藏 8
点赞数
分类专栏： 大数据开发实践 文章标签： 8080访问失败 spark 分布式 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31706571/article/details/78925278
版权
本文介绍了如何简单地搭建Spark伪分布式环境，包括从官网下载Spark压缩包，解压，配置环境变量，启动master和worker。在搭建过程中遇到8080端口访问失败的问题，通过修改start-master.sh文件将Spark Master WebUI端口改为8001，从而解决了端口冲突，最后成功访问Spark的8001端口并启动了spark-shell进行验证。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
宋哥哥丢了金箍棒
关注
专栏目录
spark启动master时提示端口8080被占用SelectChannelConnector@0.0.0.0:8080: java.net.BindException
sunflower_cao的专栏
07-10 3万+
在root权限下通过命令netstat  -apn | grep 8080
Spark 无法打开WebUI界面的解决方法
weixin_44028403的博客
05-14 1万+
1.遇到的问题 在chrome浏览器中输入https://master:8080后无法访问此网站。 2. 原因 出现这个问题的原因是：8080端口号被占用了或者你得输入http 不能输入 https 3. 解决方法 端口号重复的解决方法： 进入spark安装目录下的sbin目录 vim ./start-master.sh 找到 if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_PORT=8001 fi后，修改端口号为8001（
Spark独立模式http://localhost:8080访问不了
大强博客
02-02 3776
问题描述： Spark独立模式 手动启动集群 ./sbin/start-master.sh http://localhost:8080访问不了 解决办法： 1、检查环境安装配置是否正确 vi /etc/profile # Java export JAVA_HOME=/usr/java/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin ...
Spark页面8080端口访问不了（spark部署在阿里云上）
qq_49344979的博客
03-14 4900
问题：在阿里云服务器部署完成Spark服务器后想通过http//xs:8080 (xs是我在阿里云上创建的服务器实例的名称)访问spark8080端口，结果显示访问不到。 1，首先我按照网上建议，查看了自己是否是因为8080端口被占用，如果被占用可以在 /sbin/start-master.sh 配置文件中修改端口号（任意不被占用的端口即可） 但是我的问题不是端口占用引起的 2.因为是阿里云服务器，我又检查了我云服务器的配置，果然发现云服务器没有开发8080端口。于是在安全组配置中添加的8080端口 添
spark页面8080端口访问打不开
lclchong的博客
07-30 1030
​ Spark端口号和其他应用发生冲突 ​
hadoop2.7及spark伪分布式集群搭建遇到的问题
06-17 1190
1.建议搭建之前先禁用防火墙（遇到过slave的nodemanager会自动关闭，日志说获取不到主机路由问题，通过关闭防火墙即可，我的linux是centos7）：    关闭防火墙：systemctl stop firewalld.service     禁用防火墙：systemctl disable firewalld.service 2.格式化nodename报错：1）.原因是配置文件.ba...
spark master 占用8080，手动指定特定端口
上海菁数信息技术
01-03 4090
vim spark的conf路径/sbin/start-master.sh 原来有如下一行： if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then   SPARK_MASTER_WEBUI_PORT=8080 fi 将8080改为你所希望启动的端口号如8089或者其他 start-master.sh 启动master进程（或者sbin/sta
解决zookeeper与spark8080端口冲突问题
qq_40380423的博客
04-22 2311
配置好spark standalone集群模式后，执行脚本命令 sbin/start-all.sh 查看进程 jpsall =============== hadoop100 =============== 31009 Worker 25924 NameNode 38165 Jps 30824 Master 27179 JobHistoryServer 26108 DataNode 28092 QuorumPeerMain 26829 NodeManager =============== hadoop1
Spark完全分布式搭建
qq_50835159的博客
06-08 2647
Spark完全分布式搭建教程(Standalone:Master+Slave） 分析: 1.配置好IP 2.修改主机名 3.做好IP主机映射 4.关闭防火墙 5.安装Java 6.安装Hadoop(完全分布式) 7.安装scala 8.配置SSH免密登入 9.集群配置 1.配置IP
Ubuntu16.04 Spark2.7.7伪分布式从零开始部署
BaideS的博客
08-28 365
因工作上的需要，尝试在一台Ubuntu16.04部署Spark，因为之前没有了解过Spark，故踩坑时部署了Local版和Standalone单机伪分布式版，现记录如下。 因为在部署Spark之前并未明确出Spark是什么，踩了相应的坑，故在此一并说明：Spark的目标是做一个分布式计算框架，因为是分布式所以它需要通讯（故需要安装SSH），有因为只是一个计算框架，所以其分布式数据来源需要由Hadoop的HDFS提供（故需要安装Hadoop），缺少SSH和HDFS，哪怕跑通，也是Local版。 1. Spar
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
ZYF2190003497的博客
04-01 287
转化操作会由一个RDD 生成一个新的RDD。另一方面，行动操作会对RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如HDFS）中。：Spark 3.3.2使用的Scala版本其实是2.12.15。创建出来后，RDD 支持两种类型的操作： 转化操作（计算1 + 2 + 3 + ……例2、调用转化操作filter()利用print函数输出了一条信息。例3、调用行动操作first()就会报错，目前没有解决问题。在pyspark里完成。例1、创建一个RDD。
Spark3 Standalone模式高可用分布式集群搭建(HA模式)
zhengzaifeidelushang的博客
11-11 568
十三、实现Spark集群的高可用搭建 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。这里基于zookeeper的Standby Masters（Standby Master with zookeeper）实现高可用。基本原理是通过zookeeper来选举一个Master，其他的Master处于Standby状态。将spark集群连接到同一个Zookeeper实例并启动多个Master，利用z
spark页面8080端口访问出错的问题
qq_38709565的博客
03-23 6259
我在安装完spark集群后，在主节点上查看spark的UI界面：http://master:8080页面访问不了！！！通过上网上查看。发现8080端口会和其他端口共用，即会产生冲突，其实就是端口占用了。因此我们只需要将spark配置文件中的访问端口改成其他的就ok了！ 因此，我们打开主节点的配置文件：“/usr/local/spark/sbin/start-master.sh”文件： vim...
spark web UI端口 4040,18080， 8080页面访问不了
热门推荐
Heitao5200的博客
03-24 2万+
Localhost：4040页面访问不了 是因为history server没开的问题   Spark history Server产生背景  以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Applicatio...
spark master web ui 端口8080被占用解决方法
jast
07-08 910
Spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：定位到下面部分内容： 修改上面的端口为其它可用端口就行...
Spark常用命令及端口
qq_18629653的博客
10-14 710
Spark 启动Spark sbin/start-all.sh 停止Spark sbin/stop-all.sh 单独启动: sbin/start-master.sh sbin/start-slaves.sh 所有slave sbin/start-slave.sh 单台slave 启动spark-shell /opt/module/spark/bin/spark-shell –master spark://hadoop101:7077 启动spark–shell使用外部hive(如果spark/jars目
java hadoop 超时_【问题】spark运行python写的mapreduce任务，hadoop平台报错，java.net.ConnectException: 连接超时...
weixin_35353904的博客
03-04 428
问题：用spark-submit以yarn-client方式提交任务，在集群的某些节点上的任务出现连接超时的错误，排查过各种情况后，确定在防火墙配置上出现问题。原因：我猜测是python程序启动后，作为Server，hadoop中资源调度是以java程序作为Client端访问，Python启动的Server端需要接受localhost的client访问。当你从一台linux主机向自身发送数据包时,...
spark伪分布式搭建
最新发布
12-13
以下是Spark伪分布式搭建的步骤： 1.下载Spark安装包并解压缩 ```shell wget https://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz ``` 2....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值