spark安装运行在webUI界面不显示worker

最新推荐文章于 2024-06-23 16:52:06 发布
最新推荐文章于 2024-06-23 16:52:06 发布
阅读量6.6k 收藏 5
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1187239259/article/details/79489800
版权


./spark/conf/spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值。亲测，ubuntu16.04系统，spark-env.sh中手动配置

export JAVA_HOME=<>/jdk1.8
export SCALA_HOME=<>/scala
export HADOOP_HOME=<>/hadoop
export HADOOP_CONF_DIR=<>/hadoop/etc/hadoop

export SPARK_MASTER_IP=192.168.60.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_HOST=192.168.60.1
export SPARK_LOCAL_IP=192.168.60.1
export SPARK_EXECUTOR_MEMORY=1024m

把以上变量配置完整且正确，spark集群就能正确运行。

保存，再重新启动spark，问题解决

米丝鱼
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Spark应用程序WebUI详解.docx
06-18
Spark Web UI 是一个图形化的用户界面，用于监控正在运行的 Spark 应用程序的状态。它提供了丰富的信息，帮助用户了解应用程序的运行情况、性能瓶颈以及资源使用情况等。 - **启动 Spark 和 HDFS**：在使用 Spark ...
spark在虚拟机的安装
04-17
在安装Spark之前，需要先安装Scala，因为Spark是基于Scala开发的，虽然可以使用其他语言编写Spark程序，但是安装Scala仍然是必要的。 #### 三、Scala的安装与配置 1. **上传Scala** 首先需要下载Scala压缩包，并...
spark的UI界面解析
qq_43688472的博客
12-27 3949
一：spark的UI界面 二：spark的UI界面解析 1 代表job页面，在里面可以看到当前应用分析出来的所有任务，以及所有的excutors中action的执行时间。 页可以分为两部分，一部分是event timeline，另一部分是进行中和完成的job任务。 第一部分event timeline展开后，可以看到executor创建的时间点，以及某个action触发的算子任务，执行的时间。通...
启动Spark在UI界面上看不到worker节点的信息
@潇洒哥
10-09 8563
问题描述 作者是在centos上安装spark-2.3.0-bin-hadoop2.7.tgz，当配置好spark-env.sh，改好slaves文件之后，在sbin/目录下运行命令./start-all.sh来启动Spark时，发现没有报错，以为启动成功，但是在Spark的UI界面上看不到worker的信息。此时第一反应都是worker节点启动失败，然后会用jps命令去查看，但是惊喜地发现Wo...
Spark web UI 介绍
最新发布
zby384的博客
06-23 1166
打开 Spark UI，首先映入眼帘的是默认的 Jobs 页面。Jobs 页面记录着应用中涉及的 Actions 动作，以及与数据读取、移动有关的动作。其中，每一个 Action 都对应着一个 Job，而每一个 Job 都对应着一个作业。可以看到，导航条最左侧是 Spark Logo 以及版本号，后面则依次罗列着 6 个一级入口。每个入口的功能与作用如下的表格介绍其中Spark Properties 是重点，其中记录着所有在运行时生效的 Spark 配置项设置。
解决spark on yarn模式时，在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面
join_null的博客
11-23 2646
1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置 <property> <name>yarn.web-proxy.address</name> <value>master01:8089</value> </property> 在指定的master01节点启动web-proxy服务：./sbin/yarn-daemon.sh start proxyserver 2.重启所有节点.
用jps查看worker有成功启动但在ui上没有看到alive workers
qq_40911292的博客
12-15 1059
前一天晚上按照书上搭建了HA集群，且验证了一下master宕机的情况下，另一个单独用sbin下的start-master.sh命令单独再次启动Master服务的节点自动由standby状态转为alive。 但是，今天登上集群的时候，用一键启动脚本启动了spark集群，查看jps,master和其他节点的worker都有在，但运行第一个spark程序SparkPi的时候，出错了，出错信息如下 ...
【解决】Spark启动后WebUI看不到Workers（Alive workers:0）
hr786250678的博客
04-27 7379
Work启动，但Http中没有Worker节点：说明Slave节点与Master的通讯出现问题，或Slave节点无法向Master注册，导致虽然Woker启动但不能在Master中找到。 搜了一堆，被这个问题折磨了一天，总结一下主要是下面几个解决办法 1. spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值 参考：https://blog.csdn.net/qq118...
关于 Spark WebUI 不显示 Completed Applications 的明细
探索
03-03 4754
今天有人问到了这个问题，在此做个记录，在WebUI中是否显示你的Application，取决于你提交的方式，以下的运行方式就不会显示在UI中，前3种是本地命令执行，第4种是在YARN中执行： ./spark-submit -class org.apache.spark.examples.SparkPi /path/sparkex.jar ./run-example org.apache.spark.
Spark实验：Standalone模式安装部署（带答案）1
08-03
7. **验证安装部署**：通过jps命令检查各节点的进程，确保Spark Master和Worker正常运行，同时可访问Web UI进行监控。 **五、注意事项** 1. 在配置过程中，务必确保环境变量设置正确，避免因路径错误导致的问题。 ...
spark集群安装
09-02
- **Spark Web UI**：启动集群后，可以通过访问`http://hdp-01:8080/`来查看Spark管理界面，了解集群的状态。 - **查看资源使用情况**：可以使用命令`free -m`来查看各节点的内存使用情况。 #### 九、总结 本文...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
6. 开发者工具：Spark提供了一个强大的交互式命令行界面（Spark Shell）和一个Web UI，帮助开发者调试和监控作业。新版本可能会有更友好的API和工具更新。 7. 机器学习库（MLlib）：MLlib持续发展，3.1.3可能增加了...
解决spark无法查看web页面状态
knightjsh的博客
08-27 5816
解决spark无法查看web页面状态 spark-env.sh配置，端口设置为 SPARK_MASTER_PORT=7077 尝试用 http://IP地址:7077打开网址查看状态，发现并不可以打开。 之后查看主机master的日志文件（/root/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out） 仔细查看日志发现，端口似乎发生了变动（在WARN中），具体为什么会这样，希望有大神指点【博主还是小白】。看
Spark Web UI 监控
sinat_26566137的博客
08-08 269
参考：https://blog.csdn.net/zxl55/article/details/79572475 日常铺垫 本人最终用于大数据集测试的集群中包含4个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为8。 conf/spark...
spark集群启动后WorkerUI界面看不到Workers解决
热门推荐
tlimited的博客
06-22 1万+
最近在搭spark集群的时候，成功启动集群，但是访问master的WorkerUI界面却看不到子节点，也就是worker id那里为空的，如图： 解决这个问题，关键是改spark的conf下面的spark-env.sh文件： 注意点就是，下面的masterid必须是ip，之前填master，能启动，但是界面看不到worker。 master配置： export JAVA_HOME=/o...
生产环境实战spark （10）分布式集群 5台设备 SPARK集群 HistoryServer WEBUI不能打开问题解决 File file:/tmp/spark-events does not
段智华的博客
04-27 4863
生产环境实战spark （10）分布式集群 5台设备 SPARK集群 HistoryServer WEBUI不能打开问题解决这个是个老问题，之前也遇到过，启动start-history-server.sh，报错如下Caused by: java.io.FileNotFoundException: Log directory specified does not exist: file:/tmp/s
spark任务成功运行,但8088UI界面不显示Application
weixin_44455388的博客
09-18 5370
今天运行spark任务时，提交的任务成功地计算出了数据，但8088web界面始终不限application的信息。 起初以为是spark集群出了问题，于是进行了重启，但重启后问题依然没有解决。 于是返回到代码,发现测试完毕，mater没有删掉，删掉mater问题得到解决。 //获取sparkSession val sparkSession = SparkSession.builder().appN...
spark运行环境 *** local standalone worker 目录下有 SLAVE on yarn on mesos
06-03
好的，您的问题是Spark的运行环境。Spark支持以下四种运行环境： 1. Local：本地模式，所有的Spark组件都在单个进程中运行。 2. Standalone：Spark独立模式，Master节点和Worker节点都在同一集群中，可以通过Spark自带的Web UI进行管理。 3. YARN：基于Hadoop YARN资源管理框架的模式，可以将Spark作为YARN的应用程序运行在Hadoop集群中。 4. Mesos：基于Mesos资源管理框架的模式，可以将Spark作为Mesos的应用程序运行在Mesos集群中。 在Spark的安装目录下，可以找到bin目录，其中包含了启动Spark应用程序的脚本。在standalone模式下，可以在$SPARK_HOME/sbin目录下找到启动Master和Worker的脚本；在YARN和Mesos模式下，可以在$SPARK_HOME/bin目录下找到启动应用程序的脚本。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值