使用Arthas进行生产代码热修复

Arthas主页

https://alibaba.github.io/arthas/index.html

什么是Arthas(阿尔萨斯)

Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。

当你遇到以下类似问题而束手无策时，Arthas可以帮助你解决：

这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？

我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？

遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？

线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！

是否有一个全局视角来查看系统的运行状况？

有什么办法可以监控到JVM的实时运行状态？

怎么快速定位应用的热点，生成火焰图？

快速使用

安装

curl -O https://alibaba.github.io/arthas/arthas-boot.jar
java -jar arthas-boot.jar

打印帮助信息：

java -jar arthas-boot.jar -h

如果下载速度比较慢，可以使用aliyun的镜像：

java -jar arthas-boot.jar --repo-mirror aliyun --use-http

更多安装方法可以参考,这边不在安装上做过多描述,非常简单

https://alibaba.github.io/arthas/install-detail.html

基本操作使用,不想看的可以直接跳过

• help——查看命令帮助信息
• cat——打印文件内容，和linux里的cat命令类似
• echo–打印参数，和linux里的echo命令类似
• grep——匹配查找，和linux里的grep命令类似
• tee——复制标准输入到标准输出和指定的文件，和linux里的tee命令类似
• pwd——返回当前的工作目录，和linux命令类似
• cls——清空当前屏幕区域
• session——查看当前会话的信息
• reset——重置增强类，将被 Arthas 增强过的类全部还原，Arthas 服务端关闭时会重置所有增强过的类
• version——输出当前目标 Java 进程所加载的 Arthas 版本号
• history——打印命令历史
• quit——退出当前 Arthas 客户端，其他 Arthas 客户端不受影响
• stop——关闭 Arthas 服务端，所有 Arthas 客户端全部退出
• keymap——Arthas快捷键列表及自定义快捷键

jvm相关

• dashboard——当前系统的实时数据面板
• thread——查看当前 JVM 的线程堆栈信息
• jvm——查看当前 JVM 的信息
• sysprop——查看和修改JVM的系统属性
• sysenv——查看JVM的环境变量
• vmoption——查看和修改JVM里诊断相关的option
• perfcounter——查看当前 JVM 的Perf Counter信息
• logger——查看和修改logger
• getstatic——查看类的静态属性
• ognl——执行ognl表达式
• mbean——查看 Mbean 的信息
• heapdump——dump java heap, 类似jmap命令的heap dump功能

class/classloader相关

• sc——查看JVM已加载的类信息
• sm——查看已加载类的方法信息
• jad——反编译指定已加载类的源码
• mc——内存编绎器，内存编绎.java文件为.class文件
• redefine——加载外部的.class文件，redefine到JVM里
• dump——dump 已加载类的 byte code 到特定目录
• classloader——查看classloader的继承树，urls，类加载信息，使用classloader去getResource

monitor/watch/trace相关

请注意，这些命令，都通过字节码增强技术来实现的，会在指定类的方法中插入一些切面来实现数据统计和观测，因此在线上、预发使用时，请尽量明确需要观测的类、方法以及条件，诊断结束要执行 stop 或将增强过的类执行 reset 命令。

• monitor——方法执行监控
• watch——方法执行数据观测
• trace——方法内部调用路径，并输出方法路径上的每个节点上耗时
• stack——输出当前方法被调用的调用路径
• tt——方法执行数据的时空隧道，记录下指定方法每次调用的入参和返回信息，并能对这些不同的时间下调用进行观测

profiler/火焰图

• profiler–使用async-profiler对应用采样，生成火焰图

options

• options——查看或设置Arthas全局开关

管道

Arthas支持使用管道对上述命令的结果进行进一步的处理，如sm java.lang.String * | grep ‘index’

• grep——搜索满足条件的结果
• plaintext——将命令的结果去除ANSI颜色
• wc——按行统计输出结果

后台异步任务

当线上出现偶发的问题，比如需要watch某个条件，而这个条件一天可能才会出现一次时，异步后台任务就派上用场了，详情请参考

https://alibaba.github.io/arthas/async.html

• 使用 > 将结果重写向到日志文件，使用 & 指定命令是后台运行，session断开不影响任务执行（生命周期默认为1天）
• jobs——列出所有job
• kill——强制终止任务
• fg——将暂停的任务拉到前台执行
• bg——将暂停的任务放到后台执行

---

代码热修复

注意!!!

• 不允许新增加field/method
• 正在跑的函数，没有退出不能生效，比如下面新增加的System.out.println，只有run()函数里的会生效

public class MathGame {
    public static void main(String[] args) throws InterruptedException {
        MathGame game = new MathGame();
        while (true) {
            game.run();
            TimeUnit.SECONDS.sleep(1);
            // 这个不生效，因为代码一直跑在 while里
            System.out.println("in loop");
        }
    }
 
    public void run() throws InterruptedException {
        // 这个生效，因为run()函数每次都可以完整结束
        System.out.println("call run()");
        try {
            int number = random.nextInt();
            List<Integer> primeFactors = primeFactors(number);
            print(number, primeFactors);
 
        } catch (Exception e) {
            System.out.println(String.format("illegalArgumentCount:%3d, ", illegalArgumentCount) + e.getMessage());
        }
    }

• redefine后的原来的类不能恢复，redefine有可能失败（比如增加了新的field），参考jdk本身的文档。
• reset命令对redefine的类无效。如果想重置，需要redefine原始的字节码。
• redefine命令和jad/watch/trace/monitor/tt等命令会冲突。执行完redefine之后，如果再执行上面提到的命令，则会把redefine的字节码重置。 原因是jdk本身redefine和Retransform是不同的机制，同时使用两种机制来更新字节码，只有最后修改的会生效。

热修复开始!!!

一. 查找/反编译源文件

使用sc查找文件,这里使用fastjson作为参考

sc com.alibaba.fastjson* 查询该路径为前缀的类,也可以使用具体的类路径

com.alibaba.fastjson.JSON
com.alibaba.fastjson.JSONAware
com.alibaba.fastjson.JSONObject
com.alibaba.fastjson.JSONStreamAware 

反编译源文件,使用JSON类作为反编译参考

jad com.alibaba.fastjson.JSON,通过以下代码可以看到反编译的源码

ClassLoader:                                                                                                                                                                                                                                                          
+-org.springframework.boot.loader.LaunchedURLClassLoader@1be6f5c3                                                                                                                                                                                                     
  +-sun.misc.Launcher$AppClassLoader@55f96302                                                                                                                                                                                                                         
    +-sun.misc.Launcher$ExtClassLoader@4195f16                                                                                                                                                     

Location:                                                                                                                                                                                                                                                             
file:/usr/hdyl/xdz-devops-service/xdz-devops-service-0.0.1-SNAPSHOT.jar!/BOOT-INF/lib/fastjson-1.2.67.jar!/                                                                                                                                                           

/*
 * Decompiled with CFR.
 * 
 * Could not load the following classes:
 *  com.alibaba.fastjson.JSONArray
 *  com.alibaba.fastjson.JSONAware...
 */
package com.alibaba.fastjson;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONAware;
import com.alibaba.fastjson.JSONException;
import com.alibaba.fastjson.JSONObject;
import com.alibaba.fastjson.JSONStreamAware;...

public abstract class JSON
implements JSONStreamAware,
JSONAware {
    public static TimeZone defaultTimeZone = TimeZone.getDefault();
    public static Locale defaultLocale = Locale.getDefault();
    public static String DEFAULT_TYPE_KEY = "@type";
    static final SerializeFilter[] emptyFilters = new SerializeFilter[0];
    public static String DEFFAULT_DATE_FORMAT = "yyyy-MM-dd HH:mm:ss";
    public static int DEFAULT_PARSER_FEATURE;
    public static int DEFAULT_GENERATE_FEATURE;
    private static final ConcurrentHashMap<Type, Type> mixInsMapper;
    private static final ThreadLocal<byte[]> bytesLocal;
    private static final ThreadLocal<char[]> charsLocal;
    public static final String VERSION = "1.2.67";

    private static void config(Properties properties) {
        String featuresProperty = properties.getProperty("fastjson.serializerFeatures.MapSortField");
        int mask = SerializerFeature.MapSortField.getMask();
        if ("true".equals(featuresProperty)) {
            DEFAULT_GENERATE_FEATURE |= mask;
        } else if ("false".equals(featuresProperty)) {...

通过源码我们可以定位生产环境的代码,并对其作出修改的操作

二. 修改代码

1. 通过步骤一,可以看到源码的问题,找到问题后,回到编辑器(IDEA/Eclipse)

2. 修改源码,在源码中添加一行代码,例如

log.info("测试热修复")

3. 代码编译(此处我是用的是maven进行打包)

mvn clean compile -D skipTests -P pro

• clean 清除target文件(若target为空可不加这一个命令)
• compile 编译项目(实现编译字节码的一步)
• -D skipTests 跳过测试方法(没有test方法可以不加)
• -P pro 指定mavenProfile(没有使用可以不加)

4. 找到需要修改的类class文件,一般在编译后target目录下的包内

5. 上传class文件到服务器,此处我的文件上传到了

# 进入自定义的class文件夹
cd /usr/local/arthas/classes
# 上传文件到该目录
rz -E JSON-hotfix.class

三. 进行热修复

通过第二步,已经完成了源码修改,并上传了服务器,接下来就是进行热修复的一步

1. 进入arthas控制台

java -jar arthas-boot.jar

2. 找到相应的进程并进入服务控制台

3. 进行代码热修复

redefine /usr/local/arthas/classes/JSON-hotfix.class

4. 控制台返回

# 当返回success时,表示代码已在jvm中重新加载
redefine success, size: 1

5. 至此,代码热修复已经完成

四. 出现问题

• 1. 提示failed: attempted to change the schema
  • 使用 java p -p 对比新旧class文件
  • 查看是否有新增字段或者方法

javap -p xxx.class

• 详细的注意事项,参考主题 [代码热修复]