问题背景: Tps约50左右,10线程与50线程压测tps一致,只响应时间不断增加,数据库服务器资源占用较低,而应用服务器cpu维持在一定值之后随着并发数增加,cpu不再增高,凭经验判断,应该跟代码实现有关; 所以直接找引发问题的代码; 快速手段如下: 使用top命令查看当前进程的资源占用情况,通过下图我们看到PID为4501的进程为java的主要活动进程 ![](https://static.oschina.net/uploads/space/2017/0330/194922_Xdu8_2719108.png) 使用top –Hp 4501来查看-H 显示线程 -p 指定pid 如果执行上述命令之后,发现还是只有一行,那么按下 shift+h, 即可显示线程占用资源情况,此处占用CPU最高的线程的PPID是15894 扑捉到线程后,需jstack跟踪,此时线程号转化为16进制, 使用命令 jstack 4501 |grep -i 3e16 来查询进程详细信息 ![](https://static.oschina.net/uploads/space/2017/0330/194946_N7tp_2719108.png) 此时与开发沟通,在代码实现中,在合并账户加锁,在并发中,导致大量线程等待,后来通过锁账户改成锁收据单,锁粒度降低,改完后,重新测试,tps达到300,随着并发数增加,cpu资源升高,根据硬件消耗与tps对比,达到正常; 在举一例 定时任务,执行时间过长; 经过监控,内存瞬间达到极致,回收缓慢,程序卡顿严重,通过jmap(上述类似方法,也可以jvisual)追踪代码,某方法再一次执行中提交大量数据,后经与开发讨论修改数据量,并反复压测验证,达到最优配置,从原来的20min执行时间缩短为2min,且内存回收正常(如下图); ![](https://static.oschina.net/uploads/space/2017/0330/195000_ZRtH_2719108.png)
jvisual使用简述如下: 1 配置前的准备 我们需要先检查linux的hostname匹配的IP,执行
hostname -i
如果匹配的结果是无法识别或者127.0.0.1, 则需要手动配置主机名和IP映射。假设要用于建立连接的IP是192.168.11.233,主机名是mylinux:
vi /etc/hosts
添加一行
192.168.11.233 mylinux
2 配置JMX 2.1 创建setenv.sh 进入tomcat/bin目录
vi setenv.sh
#!/bin/shexport JAVA_OPTS="$JAVA_OPTS -Xms512m -Xmx512m -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=../conf/jmxremote.password -Dcom.sun.management.jmxremote.access.file=../conf/jmxremote.access" (-Xms512m -Xmx512m不是必须的参数,放在这里只是示意可以连同JVM参数一起调整) 设置权限
chmod +x setenv.sh
2.2 在server.xml中添加listener 进入tomcat/conf目录
vi server.xml
<Listener className="org.apache.catalina.mbeans.JmxRemoteLifecycleListener" rmiRegistryPortPlatform="10001" rmiServerPortPlatform="10002" /> 端口可根据实际情况修改,添加后的结构如下图
2.3 JMX访问控制文件 进入tomcat/conf目录,执行
cp $JAVA_HOME/jre/lib/management/jmxremote.password.template jmxremote.passwordcp $JAVA_HOME/jre/lib/management/jmxremote.access jmxremote.access 然后
vi jmxremote.password 取消以下两行注释 #monitorRole QED #controlRole R&D
也可以自定义账号,按username password的格式添加一行,这样就需要同时修改jmxremote.access
vi jxmremote.access 在最下面添加 username readwrite
修改权限
chmod 600 jmxremote.password chmod 600 jxmremote.access
2.4 添加catalina-jmx-remote.jar 下载地址 http://mvnrepository.com/artifact/org.apache.tomcat/tomcat-catalina-jmx-remote
下载后复制到 tomcat/lib目录
至此,配置工作完成,但是还需要把2.2中的两个端口加入到防火墙允许规则中
2.5 设置防火墙 vi /etc/sysconfig/iptables
在-A INPUT -j REJECT --reject-with icmp-host-prohibited前加入
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10001 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 10002 -j ACCEPT service iptables restart 在客户机上telnet 服务器的10001和10002端口,如果都通就正确了。
2.6 测试 在客户机上启动jvisualvm.exe,在左侧树形菜单的远程上右键 -> 添加远程主机,主机名填写服务器IP
确定后,远程下出现新的子节点,在子节点上右键 -> 添加JMX连接
连接输入IP:10001,注意这个端口是2.2步骤中配置的rmiRegistryPort。勾选使用安全凭证,用户名和口令即2.3步骤中jmxremote.password文件内的用户名和对应密码。勾选保存安全凭证