基于arthas的性能问题定位_arthas 定位性能问题-CSDN博客

本文链接：https://blog.csdn.net/tian_wang/article/details/130844098

背景

我们的一个web服务，压测会报大量500错误，且稳定复现。我们已经定位到是登录拦截器LoginFilter的问题（因为去掉登录再压是没问题的）。

安装arthas

首先要先把arthas打到镜像里，这里公司内网可以使用离线安装方式，下载完整安装包arthas-packaging-3.6.9-bin.zip。官网链接：https://arthas.aliyun.com/doc/download.html#%E7%94%A8-as-sh-%E5%90%AF%E5%8A%A8。解压后放在arthas目录下，对应的dockerfile如下

FROM xx:xx
COPY arthas/ /arthas
RUN cd /arthas && ./install-local.sh

问题排查

dashboard截图
在这里插入图片描述
可看占用CPU的主要是tomcat的http服务，这里压测已经开始出现500fail了，截图如下:

locust压测截图
这里我们随便找一个thread id，使用thread {id}命令查看线程运行栈，多运行几次找到LoginFilter相关的调用栈：
在这里插入图片描述
这样就可以轻松知道要重点排查那些方法了。接下来我们先看LoginFilter是否会抛异常

watch xx.LoginFilter doFilter 'throwExp' -e -x 3
Press Q or Ctrl+C to abort.
Affect(class count: 1 , method count: 1) cost in 248 ms, listenerId: 2
method=xx.LoginFilter.doFilter location=AtExceptionExit
ts=2023-05-24 14:07:54; [cost=9.044077ms] result=java.lang.NullPointerException

这里看到报空指针了，但是没有异常栈，没法分析，接着在调用栈往上找，发现AuthorizeDealBeanImpl.isValid报出异常：java.lang.NullPointerException: Cannot invoke “java.util.Map.getOrDefault(Object, Object)” because the return value of “xx.UserInfo.getDept()” is null

至此问题已经定位了，接下来就要对照源码了

问题定位

核心代码：

List<UserInfo> userInfos = this.cache.get(token + ":USER", UserInfo.class, permission.getUserInfoUrl(), permission.getIsRisk());
if (!CollectionUtils.isEmpty(userInfos)) {
    UserInfo userInfo = (UserInfo)userInfos.get(0);
    if (userInfo != null && !StringUtils.isEmpty(userInfo.getId())) {
        // xxx
        loginUserInfo.setDepartmentName(userInfo.getDept().getOrDefault("name", " ").toString());
        // xxx
    }
}

我们看到是userinfo.getDept()报出的空指针，接下来重点来了，我们再用watch方法观察cache.get的返回值，但是这此我们要加上一些比较巧妙的过滤条件：

watch xxx.LocalUserRoleCacheImpl get '{params[0],params[2],target.url,returnObj[0]}' "params[1].getName().contains('UserInfo') && returnObj[0].getDept()==null" -x 3

得到结果如下：
在这里插入图片描述
这里我们发现get方法返回的对象属性都是空的，为什么会出现这种情况呢，这种应该是不可能出现的，因为缓存数据是正常的。我们再来看下LocalUserRoleCaheImpl.get的代码

public List<T> get(K key, Class<T> clz, String url, Boolean isRisk) {
    this.url = url;

    try {
        String result = this.loadCache(key);
        return JSONObject.parseArray(result, clz);
    } catch (Exception var6) {
        log.error(var6.getMessage(), var6);
        return null;
    }
}