jps不显示worker进程问题! jps不显示

最新推荐文章于 2023-04-24 09:52:28 发布
最新推荐文章于 2023-04-24 09:52:28 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： 大数据 文章标签： spark centos hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangzhehua001/article/details/115027950
版权
问题:在配置spark时,输入start-all.sh命令后启动成功,但是使用jps命令却不显示worker进程:

如图
于是便查看日志,显示worker进程正常启动:
在这里插入图片描述
然后登录webUI,可以正常显示节点:
在这里插入图片描述
受这篇博客启发,猜测为jps访问权限不足(点我!)
于是su root切换root用户
此时再输入jps,显示成功!
在这里插入图片描述

!!! 总结:尽量使用root用户来配置环境…

aertuoliya007
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
jps判断hadoop启动是否成功
06-23
jps判断hadoop启动是否成功；分别对master和slave进行了判断。jps不是hadoop的什么命令，是java的命令，所以直接执行就行了。
Spark2.4.3集群部署
09-14
* 使用jps命令查看Master 节点和Worker 节点的进程 * 使用spark-shell命令测试Spark集群的计算功能 * 使用spark-submit命令提交计算任务 * 查看任务执行的界面和历史日志 5. Spark集群的配置文件 Spark集群的配置...
启动Spark在UI界面上看不到worker节点的信息
@潇洒哥
10-09 8550
问题描述 作者是在centos上安装spark-2.3.0-bin-hadoop2.7.tgz，当配置好spark-env.sh，改好slaves文件之后，在sbin/目录下运行命令./start-all.sh来启动Spark时，发现没有报错，以为启动成功，但是在Spark的UI界面上看不到worker的信息。此时第一反应都是worker节点启动失败，然后会用jps命令去查看，但是惊喜地发现Wo...
错误：启动spark后在web页面看不到worker节点的信息
weixin_43866709的博客
03-11 3529
今天安装了一个高可用的spark集群，但是启动之后，每个节点上用jps命令都可以查看到有Master和Worker进程，但是登录UI界面却没有Worker信息，查看Worker节点上的日志文件，发现竟然出错了，错误如下： 错误显示Worker无法连接到Master节点。 找了好长时间，终于发现了问题，出现这个错误的原因就是端口的问题。 我们知道，spark集群上Master节点和Worker节点...
Spark伪分布式启动只有jps没有Master和Worker
qq_37268093的博客
05-26 6577
配置Spark伪分布式环境的时候，source /etc/profile之后，jps查看进程中只有jps进程，没有Master和Worker进程。造成这种情况的原因就是配置spark-env.sh和/etc/profile文件的时候Spark主节点的IP和Spark本地的IP配置错误。 解决办法： 首先查看linux的ip 输入语句：ifconfig 第一个红框标记的是Spark主节点的IP，第二个红框标记的是Spark本地的IP。 其次，修改配置文件的相关内容。 进入spark...
Spark 启动集群 Master 正常启动 Worker 不启动
https://github.com/ZichengCao
08-08 9026
在学习spark过程中遇到的问题，做下记录，这个问题网上出现的不再少数，出现问题的原因也是各不相同，并且没有一个人的问题和我完全一样（我高兴得都快哭了），顺着大家的思路，尝试了两个多小时才搞明白。 问题的根源大多都在于 hostname 的配置与映射 环境前置说明（三台虚拟机模拟）： 系统：CentOS Linux release 7.5.1804 (Core) host hadoop102 192.168.20.102 Master Worker hadoop103 192.168.20.103 Wo
spark部署启动过程中http访问不到从节点Worker
qq_41546867的博客
02-07 674
问题描述：安装好spark后可以启动，且可以在浏览器访问的页面，但是发现从节点的Workrd没访问到，查询日志以后发现是启动成功的，没有异常报错，后面怀疑是从节点上之前配置的文件没有配置好,导致没有访问上。版本：spark2.4。系统：CentOS7。
spark集群启动后WorkerUI界面看不到Workers解决
热门推荐
tlimited的博客
06-22 1万+
最近在搭spark集群的时候，成功启动集群，但是访问master的WorkerUI界面却看不到子节点，也就是worker id那里为空的，如图： 解决这个问题，关键是改spark的conf下面的spark-env.sh文件： 注意点就是，下面的masterid必须是ip，之前填master，能启动，但是界面看不到worker。 master配置： export JAVA_HOME=/o...
spark搭建手册.docx
11-27
启动Spark后，`jps`命令会显示一个Master进程在SparkMaster上，而在Worker节点上则会有相应的工作进程。 最后，启动`spark-shell`进行测试，如果能够成功启动，基本可以认为Spark集群配置成功。这只是一个基础的...
Spark实验报告 (2).docx
11-27
检查`jps`输出以验证进程是否已成功启动。在这种情况下，我们看到ResourceManager、SecondaryNameNode、Worker等进程，表明Hadoop YARN环境也已经准备好。 为了监控Spark集群的状态，可以访问Web管理界面。在浏览器...
《大数据技术原理与操作应用》第2章习题答案.pdf
10-30
6. **目录结构查看**：在Hadoop解压目录下，使用`ll`命令可以查看目录结构，而不是`jps`（Java进程状态）、`tar`（归档工具）或`find`（查找文件）。 7. **配置文件位置**：Hadoop的配置文件通常存放在`etc`目录下...
记一下-JPS不显示进程，但是进程还存在的问题
New soul
12-08 2359
问题原因 由于我用的阿里云，然后在三台服务器上搭建了大数据的集群。因为平时测试要用到一些端口，所以开放了许许多多的端口。这样一来，无孔不入的挖矿程序就天天进来了，是不是就把我的CPU就给顶爆了。害，没办法，我也不懂。所以每次我都是手动杀死相对应的挖矿进程。今天这种情况又发生了，但是这次不一样的是，jps显示所有当前进程为process information unavailable 的状态。然后我搜了一下，我就把/tmp目录下所有的文件给删了。再然后就出现了jps显示不出任何进程，但是ES、hdfs、..
Spark Standalone 全分布模式安装过程中常见问题
m0_61232019的博客
10-11 1354
1.启动了spark分布之后没有master，worker进程 2. 启动spark集群的时候提示“main” java.lang.UnsupportedClassVersionError:org/apache/spark/launcher/Main:Unsupported major.mior version 52.0 3. 访问sparkUI界面时出现无法访问此网站，ip拒绝了连接请求 4. 启动saprk-shell 的时候提示无法分配内存或spark-shel：44:6983 以杀死
Spark集群搭建出现的问题
weixin_62401754的博客
03-24 386
问题1.启动start-spark.sh后没报错但jps查不到进程Master和Worker.之后就把spark-env.sh里的host改成了主机IP号（原来为主机名node1)之后又把/etc/profile和spark/conf/spark-env.sh改了一遍结果就报错了，但还是没有相关进程之后读了以下日志文件，发现有一个错误。
启动Spark集群web界面无work信息
AsUs.的博客
04-24 601
MasterArguments:66 - SPARK MASTER IP is deprecated, please use SPARK MASTER HOST
[novice]Spark配置文件没问题，但没有Master、Worker进程未成功
m0_54391324的博客
03-11 5514
最近刚学Spark，碰见个小问题，在运行start-all.sh和start-history-server.sh后，jps里没有出现master和worker 配置文件如下 slaves spark-env.sh spark-defaults.conf 经过查资料得知 原来我为图省事将spark环境变量后认为可以直接用start-all.sh命令启动spark，从而和hadoop命令所冲突 解决方法就是一定要从sbin目录下启动start-all.sh.命令，并附上命令注释
clickhouse导入数据 DBeaver大坑
星光不负赶路人
01-18 2205
测试数据有一亿条需要导入数据库，使用DBeaver自带导入数据功能，结果放置一晚才导入一千万条，估计导入设置有问题。于是寻找合适方式，记录如下： 首先将待导入的csv数据表45G 传输到clickhouse所在的服务器 在数据库中提前建好表，和等待导入数据匹配 在客户端输入以下命令： Clickhouse-client –databse=”testdb” –query=”INSERT INTO testdb.TEST_table FORMAT CSV” < /dataset/data.csv
hdfs jps不显示datanode
最新发布
05-13
如果 `hdfs jps` 命令没有显示 datanode 进程，可能有以下几个原因： 1. Datanode 进程没有启动：请确保 datanode 进程已经启动，可以使用 `hdfs datanode` 命令启动。 2. 配置文件错误：请确保 `hdfs-site.xml` 配置文件中配置了正确的 datanode 相关配置项，例如 `dfs.datanode.data.dir` 和 `dfs.datanode.address` 等。 3. 防火墙或网络问题：请确保 datanode 服务器可以与 namenode 服务器正常通信，防火墙没有阻止 datanode 进程的网络连接。 4. 资源限制：请确保 datanode 服务器的资源（例如 CPU、内存和磁盘空间）足够支持 datanode 进程的运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

aertuoliya007

喜欢请投食~~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值