JPS&内存清理机制

最新推荐文章于 2023-10-08 23:34:28 发布
最新推荐文章于 2023-10-08 23:34:28 发布
阅读量696 收藏 3
点赞数
分类专栏： Hadoop 文章标签： linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45052608/article/details/113871130
版权
本文介绍了Linux系统下使用jps命令查看Java进程的方法及其局限性，指出jps只能表明进程文件存在，并非确认进程实际运行状态。详细解析了通过ps命令检查进程是否存在以及进程被杀死的可能原因——OOM-kill机制，并展示了如何查看和避免该机制的影响。此外，还讨论了Linux系统的/tmp清理机制，以及如何调整以防止Java进程pid文件被误删，确保进程稳定运行。
摘要由CSDN通过智能技术生成

一、jps

jps在jdk下，用于查看java进程

[root@Hadoop01 ~]# which jps
/usr/java/jdk1.8.0_45/bin/jps

[root@Hadoop01 ~]# jps
4020 SecondaryNameNode
4308 NodeManager
4199 ResourceManager
4968 Jps
3801 DataNode
3690 NameNode

[root@Hadoop01 ~] jps -l
4020 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
4308 org.apache.hadoop.yarn.server.nodemanager.NodeManager
4199 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
5048 sun.tools.jps.Jps
3801 org.apache.hadoop.hdfs.server.datanode.DataNode
3690 org.apache.hadoop.hdfs.server.namenode.NameNode
对应java进程的标识文件

路径：/tmp/hsperfdata_启动进程的用户名

  • 进程所属的用户只能查看自己的进程信息
  • root可查看所有进程信息，但显示进程不可用
  • 把标识文件移走以后，jps就看不到相应进程了

当进程不可用或看不到进程的时候，这些进程真的不存在了吗？此时我们需要判断这些进程是否存在

#查看过滤掉查看进程命令本身的进程
ps -ef |grep 进程号 |grep -v grep
#查看进程数，若显示不为0，则说明进程存在
ps -ef |grep 进程号 |grep -v grep |wc -l

jps只是具有欺骗性，它只是显示进程文件是否存在的一种方式，不能确定进程是否真的存在
查看进程还是推荐使用ps -ef
示例：查看存放进程的文件

[root@Hadoop01 ~] ll /tmp/*hsperfdata_*
/tmp/hsperfdata_byy:
总用量 0

/tmp/hsperfdata_root: #root启动了进程，所以进程文件在root下
总用量 160
-rw-------. 1 root root 32768 2月  21 12:53 3690
-rw-------. 1 root root 32768 2月  21 12:53 3801
-rw-------. 1 root root 32768 2月  21 12:53 4020
-rw-------. 1 root root 32768 2月  21 12:53 4199
-rw-------. 1 root root 32768 2月  21 12:53 4308

[root@Hadoop01 ~] head /tmp/hsperfdata_root/3690

二、linux两种机制

oom-kill机制

当内存使用过高时，系统防止夯住，会自动杀掉内存使用最多的进程，所以当进程断掉时，先在日志中寻找error信息，若没有相关error信息，则排查是否是触发了oom-kill机制

  • 查看是否有类killed process命令，若有则代表触发了oom机制

[root@Hadoop01 ~]# cat /var/log/messages |grep oom

  • 查看内存使用情况
[root@Hadoop01 ~] free -h
              total        used        free      shared  buff/cache   available
Mem:           1.8G        1.6G         82M         11M        137M         72M
Swap:          2.0G        905M        1.1G
  • 查看内存使用占比，找到内存使用率最高的进程
[root@Hadoop01 ~] top
   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                      
  4199 root      20   0 3020988 260672   4604 S   3.0 14.0   1:47.88 java                                                                         
  3073 root       9 -11 1285532   1228    580 S   1.3  0.1   0:02.63 pulseaudio                                                                   
  6357 root      20   0  162240   2428   1580 R   1.3  0.1   0:00.40 top                                                                          
     1 root      20   0  194320   4696   2424 S   1.0  0.3   0:04.97 systemd                                                                      
   440 root      20   0   39800   2820   2552 S   1.0  0.2   0:02.23 systemd-journal                                                              
  1068 root      16  -4   55532    192     88 S   1.0  0.0   0:00.46 auditd                                                                       
  2907 root      20   0 3835280  79580  15324 S   1.0  4.3   0:14.89 gnome-shell                                                                  
  4308 root      20   0 2918220 244620   3928 S   1.0 13.1   0:51.33 java                                                                         
  1105 dbus      20   0   71060   2812    784 S   0.7  0.2   0:02.84 dbus-daemon                                                                  
  1145 polkitd   20   0  616436   1704   1000 S   0.7  0.1   0:01.95 polkitd                                                                      
  1150 root      20   0   26428   1008    808 S   0.7  0.1   0:00.71 systemd-logind                                                               
  3230 root      20   0  608636   2468    476 S   0.7  0.1   0:10.37 vmtoolsd                                                                     
  3294 root      20   0   84.6g  37712   1616 S   0.7  2.0   0:24.53 WebKitWebProces                                                              
  3801 root      20   0 2861144 176252   3992 S   0.7  9.5   0:28.26 java                                                                                                                                                                                                          
  1102 root      20   0  295564   1504   1136 S   0.3  0.1   0:11.98 vmtoolsd                                                                     
  1103 avahi     20   0   62264    716    516 S   0.3  0.0   0:01.08 avahi-daemon                                                                 
  1730 root      20   0  378404  14124   7936 S   0.3  0.8   0:01.92 X                                                                            
  1875 mysql     20   0  974812    512      0 S   0.3  0.0   0:10.17 mysqld                                                                       
  2526 root      20   0  398900    816    428 S   0.3  0.0   0:00.17 boltd                                                                        
  2623 root      20   0  254572     36      0 S   0.3  0.0   0:11.94 pcscd                                                                        
  3175 root      20   0   98.3g   8716   2424 S   0.3  0.5   0:06.26 yelp                                                                         
  3410 root      20   0  586548    660     96 S   0.3  0.0   0:01.19 fwupd                                                                        
  3690 root      20   0 2883556 271412   3380 S   0.3 14.6   0:45.35 java
clean机制

linux系统的/tmp是一个临时目录，会以一定规则自动清理/tmp底下的文件。
当我们的Java进程启动或停止时，pid进程文件会自动在/tmp底下生成或清除。
那么有一个问题，当我们的进程启动时间大于/tmp路径文件的自动清理时间，我们就无法正常关掉进程（因为进程还未启动，pid文件已经被清理）。
此时有两种办法来解决这个问题：

1、重设/tmp路径底下的文件的自动清理规则

（1）查看/tmp底下文件的清理规则

[root@Hadoop01 ~]# cat /usr/lib/tmpfiles.d/tmp.conf
#  This file is part of systemd.
#
#  systemd is free software; you can redistribute it and/or modify it
#  under the terms of the GNU Lesser General Public License as published by
#  the Free Software Foundation; either version 2.1 of the License, or
#  (at your option) any later version.

# See tmpfiles.d(5) for details

# Clear tmp directories separately, to make them easier to override
v /tmp 1777 root root 10d
v /var/tmp 1777 root root 30d

# Exclude namespace mountpoints created with PrivateTmp=yes
x /tmp/systemd-private-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp
  • v /tmp 1777 root root 10d：每10天会自动清理掉/tmp底下的文件
  • v：按照一定规则清理文件
  • x：不会清理文件

（2）修改/tmp底下hadooop进程文件的清理规则

[root@Hadoop01 ~]# vim /usr/lib/tmpfiles.d/tmp.conf
编辑以下内容到文件最后一行
x /tmp/*hsperfdata_*
2、将java进程的pid文件存放在其他路径

（1）关掉hadoop进程
一定要先关掉hadoop进程，防止hadoop进程启动不全

[root@Hadoop01 ~]# stop-all.sh

（2）编辑配置文件，改变pid文件的存放位置
hadoop-env.sh

[root@Hadoop01 ~]# vim /opt/app/hadoop/etc/hadoop/hadoop-env.sh

编辑以下内容，改变pid文件的存放位置
# pid directory
export HADOOP_PID_DIR=/opt/app/hadoop/tmp/pid

yarn-env.sh

[root@Hadoop01 ~]# vim /opt/app/hadoop/etc/hadoop/yarn-env.sh

编辑以下内容，改变pid文件的存放位置
#yarn pid dir
export YARN_PID_DIR=/opt/app/hadoop/tmp/pid

（3）重启hadoop，查看进程pid文件是否保存在新路径

[root@Hadoop01 ~]# start-all.sh
[root@Hadoop01 ~]# jps
8162 DataNode
8341 SecondaryNameNode
8521 ResourceManager
8026 NameNode
8748 NodeManager
8975 Jps
[root@Hadoop01 ~]# cd /opt/app/hadoop/tmp/pid
[root@Hadoop01 pid]# ll
总用量 20
-rw-r--r--. 1 root root 5 2月  21 14:06 hadoop-root-datanode.pid
-rw-r--r--. 1 root root 5 2月  21 14:06 hadoop-root-namenode.pid
-rw-r--r--. 1 root root 5 2月  21 14:06 hadoop-root-secondarynamenode.pid
-rw-r--r--. 1 root root 5 2月  21 14:07 yarn-root-nodemanager.pid
-rw-r--r--. 1 root root 5 2月  21 14:07 yarn-root-resourcemanager.pid
[root@Hadoop01 pid]# cat hadoop-root-namenode.pid
8026
Ayanha
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Struts2 漏洞复现之s2-005
weixin_51220765的博客
12-14 1561
Struts2 漏洞复现之s2-005 原理： s2-005漏洞的起源源于S2-003(受影响版本: 低于Struts 2.0.12)，struts2会将http的每个参数名解析为OGNL语句执行(可理解为java代码)。OGNL表达式通过#来访问struts的对象，struts框架通过过滤#字符防止安全问题，然而通过unicode编码(\u0023)或8进制(\43)即绕过了安全限制，对于S2-003漏洞，官方通过增加安全配置(禁止静态方法调用和类方法执行等)来修补，但是安全配置被绕过再次导致了漏洞，攻击
09 Java基础-JVM垃圾回收-玉峰1
08-03
在Java编程语言中，JVM（Java...总之，理解JVM的内存管理、垃圾回收机制及其相关工具，对于编写高效、稳定的Java应用程序至关重要。通过对这些知识点的深入掌握，开发者可以更好地诊断和解决问题，提升系统的整体性能。
欧拉版本tmp/hsperfdata_root下面的java进程文件不会实时更新，有人知道这个问题吗？
最新发布
m0_61522454的博客
10-08 450
这是由于在tmp/hsperfdata_root目录下保存了java进程id文件，java进程启动时会在这个目录创建这个id文件，并且运行过程中，jvm配置了性能数据更新任务，每50s会更新一次此进程id文件，但是在欧拉版本环境下此进程id文件却不会更新，导致系统自带的systemd-tmpfiles-clean服务会定时清理没有被更变的文件。要解决上述问题，需要在systemd-tmpfiles-clean的配置文件中排除java进程文件即可。但是欧拉版本下只要启动的那一刻才更新，后面不会更新。
CentOS 7：hadoop安装过程的错误汇总
weixin_43992162的博客
06-20 2906
1.Trying other mirror. 2.bash: jps: command not found… 3.Permission denied 4.jps无法显示java进程名 5.192.168.18.130：8088网址打不开 6.slave节点上没有DataNode进程 7.here are 0 datanode(s) running and no node(s) are excluded in this operation....
hadoop基础知识点学习-2
day day no bug
05-10 236
1. YARN部署 参考官方文档： https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html 1.1 配置 etc/hadoop/mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <val
常用Linux命令01
数据攻城狮的博客
03-18 1215
文章目录cd命令语法进入用户主目录（家目录）返回进入此目录之前所在的目录返回上级目录返回上两组目录切换到根目录下的tmp目录ls命令语法参数ls 未加目录名称，表示列出当前目录下的所有文件，但隐藏文件不会列出列出当前目录下的所有文件及其属性，包括隐藏文件查看指定目录下的所有文件 cd命令 使用cd命令在不同的目录中切换 语法 cd [相对路径/绝对路径] 进入用户主目录（家目录） [root@l...
Java高级面试题附答案汇总（2021年Java面试题及答案大全）
07-22
当使用的这块空间用完了，就将存活对象复制到另一块，再把已使用过的内存空间一次清理掉。 6. COLLECTION TYPES（集合类型） 集合类型是Java高级面试题中的一大热点。包括set（集）、list（列表）和map（映射）等...
JVM基础知识
10-01
- **垃圾收集堆**：用于管理对象的生命周期，通过垃圾回收机制来自动清理不再使用的对象。 - **存储区**：包括各种数据结构，如类信息、方法信息等。 - **指令集**：提供了JVM执行Java字节码所需的指令集合。 - **...
JVM高级特性与最佳实践(第2版)+pdf+源码
12-13
1. **垃圾回收机制**：JVM自动管理内存，通过垃圾回收器清理不再使用的对象，防止内存泄漏。GC算法包括分代收集、并行与并发、标记-清除、复制、标记-整理等，理解这些算法有助于优化内存使用和减少GC停顿时间。 2....
Java常见面试题300
03-08
Java是一种广泛使用的面向对象的编程语言，其面试题涵盖了各种技术层面...在面试中，理解HashMap的内部工作原理以及GC的工作机制，能够展示出你对Java内存管理和并发编程的深入理解，这些都是Java开发者必备的知识点。
【后端】--process information unavailable解决办法[详细版]
HolaOrange的博客
07-26 7102
-- process information unavailable的解决办法 ; jps出现-- process information unavailable解决办法 ; jps后出现--process information unavailable进程 解决办法 ; process information unavailable是什么 ; process information unavailable解决办法 .........
hadoop的pid文件
sz_lili的博客
07-07 698
pid文件默认存放路径：/tmp/hsperfdata_(用户名称) pid文件重要性：缺少pid文件 启动停止都有问题 如果删除pid文件，则会导致停止服务的时候有问题。同时linux对/tmp目录有30天删除不常用文件或文件夹的情况。所以需要修改pid文件存储路径 3…修改pid文件存储路径 [hadoop@hadoop001 hadoop]$ vi etc/hadoop/hadoop-e...
Linux 下 /tmp目录清理规则
西林电子
09-05 1554
/tmp目录下的hsperfdata_$user目录被删了，确认没人动tmp目录，查了一下是自动清理掉的，于是查找资料发现了tmp目录清理规则，记录一下 不同的 Linux 发行版其实对 /tmp 目录的清理方式有所不同： 在某些发行版里， tmp 目录原来只有在启动的时候才会被清理 在 Debian-like 的系统，启动的时候才会清理 (规则定义在 /etc/default/rcS ) 在 RedHat-like 的系统，按文件存在时间定时清理 (RHEL6 规则定义在 /etc/cron...
hadoop中用户权限问题修改
m0_54883970的博客
09-02 1221
#解决方法。
jps查看进程无法显示
qq_51653817的博客
03-19 1152
解决jps不显示进程的方法
kafka关闭失败总结
香蕉的博客
04-18 551
1.Linux 查看进程的PID编号的指令： 查看nginx进程的PID编号，ps -ef | grep nginx，即可返回进程的PID和PPID编号。 2.kill -9 PPID编号即可强制关闭。 3.一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- p...
centos6下，/tmp/目录下的临时文件不想被清理
Cookie_1030的专栏
08-17 657
需求： /tmp/tomcat* 文件不想不清理掉 操作： cd /etc/cron.daily/ vim tmpwatch #! /bin/sh flags=-umc /usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \ -x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix \ -X '/tmp/hsperfdata_*' -X '
Arthas 启动时无法获取java进程
热门推荐
卖辣椒也用券
08-15 1万+
一般来说java程序启动之后会在/tmp/hsperfdata_[用户名]目录下创建一个以该进程PID为名称的目录，该PID下放一些相关信息。jps就是去该目录去获取进程的。那我们cd /tmp/hsperfdata_root/(我用的root用户) 去看看，果然该目录没有对应PID的目录。由于我们是用systemctl方式启动的java程序，而不是直接java -jar方式启动，所以才出现这个问题。将PrivateTmp=true改为false。这看起来就是我们启动的进程。修改h.service文件。..
linux文件属性 属主 属组
u013479907的博客
11-28 1591
linux 文件属性、属主、属组 属性 > [root@admin sysconfig]# ls -l /tmp/hsperfdata_root/ 总用量 32 -rw-------. 1 root root 32768 11月 27 10:03 3878 >[root@admin etc]# ls -l sysconfig/ 总用量 180 -rw-r--r--. 1 root ro...
VisualVM与JVM内存监控工具详解
"这篇文章主要介绍了JAVA JVM内存监控工具的总结，包括VisualVM和一系列与之相关的JDK命令行工具，如jps、jstat、jmap、jinfo、jstack和JConsole。这些工具提供了对Java进程的内存使用、性能监控和诊断功能，对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值