java运行包精简探索(graalvm)

本文分享了使用GraalVM将Java应用打包为原生二进制文件的全过程,包括环境搭建、常见问题及解决方法,特别针对Solon框架下的应用进行了详细解析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

作者前期博客地址:

java运行包精简探索(一) - 简书

java运行包精简探索(二) - 简书

前言

  • 在热心群友的提示下,入了graalvm的坑
  • 本来以为花个三两天应该就能搞定,没想到这一搞就是一个周,终于取得了阶段性的胜利

环境

系统:ubuntu 16.04
graalvm:GraalVM Community 21.3.0 (Based on OpenJDK 11.0.13)
https://www.graalvm.org/downloads/

环境准备

参考:https://www.graalvm.org/docs/getting-started/

  • 关键配置
  • 环境变量设置
export JAVA_HOME=/path/to/<graalvm>
export PATH=/path/to/<graalvm>/bin:$PATH
  • native-image安装
gu install native-image

这一步会到github上下载包,有可能需要科学上网支持

  • 安装native-image需要的组件
apt-get install build-essential libz-dev zlib1g-dev

注: 这里有个坑,其他文章都没有提到的坑
ld需要更新到2.26+,不然在构建过程中会报告莫名其妙的异常(这里我耗了大半天)

apt-get install binutils-2.26

另一个坑
最开始我是在一台aliyun的机器上实验的,没有注意到内存问题,在实验过程中遇到异常中断。排查syslog发现是OOMKiller。排查发现我的可用内存只有4G。
后改为在本机机器vmwarw里的ubuntu操作,内存分配到8G。经观察,native-image打包过程中会用到5.2G左右的内存,所以这里要注意一下

  • 至此 环境准备完成

打包

helloworld的尝试就跳过了,网上一搜一堆
先了解一下 打包命令

https://www.graalvm.org/uploads/quick-references/native-image-quick-reference-v2_A4.pdf
项目依赖

主要用到了 solon solon-api h2 weed3 logback slf4j jlhttp等包
首先,通过maven 包我的项目solondemo 打包为可以运行的jar
确保通过

java -jar solondemo.jar 

可以正常运行并访问

然后把solondemo.jar 上传到前面准备好的 graalvm环境

  • 首先需要使用graalvm提供的配置工具,对想要打包的程序的一些静态分析无法分析到的信息进行采集
  • 如果你确认项目没有使用任何反射、代理等特性,可以省略这一步
    执行

java -agentlib:native-image-agent=config-output-dir=./config/ -jar solondemo.jar
  • 执行后,最好能跑一跑testcase,尽量保证代码覆盖率100%,避免打包后遇到 classnotfound
    执行完成后 终止执行
    如果需要多次运行采集信息 可以使用如下命令再次执行,工具会自动合并采集结果而不是覆盖

java -agentlib:native-image-agent=config-merge-dir=./config/ -jar solondemo.jar

执行结束,config下生成如下5个文件:

jni-config.json
predefined-classes-config.json
proxy-config.json
reflect-config.json
resource-config.json
serialization-config.json

坑又来了

  • 根据网上的 说法,可以通过指定-H:ConfigurationFileDirectories=./config的方式来使用前面生成的配置文件
    但是,最后老是会把-H:ConfigurationFileDirectories=认为是指定的生成文件名,然而根据文档,-H:Name=xxx才是指定输出文件名的参数
    注,这个问题是开始在centeros上操作遇到的,最后我在ubuntu 上又尝试用这种方式指定配置文件的时候,他生效了,原因未知
  • 我采用了另外一种配置方式:把这些文件打包到jar包的META-INF/native-image目录下

  • 打包命令

native-image  -jar solondemo.jar --allow-incomplete-classpath -H:+ReportExceptionStackTraces --enable-http
  • 这个命令也是经过反复多次尝试最终得出的可用命令,尝试的过程就略去3W字了
    注:如果你的应用需要对外提供http服务,必须加上配置 --enable-http 如果提供https服务 则必须加--enable-https 否则哪怕运行起来了 访问也永远是 500
    打包成功,目录下生成solondem文件
    执行运行:
  • sad~~~~~~~~~~~运行成功了,但是 插件没加载,
    翻阅solon源码,发现插件加载的流程大致如下:

通过反复添加日志排查,发现:
在graalvm native-image下运行,这里扫描到 META-INF/solon 这个目录的type 它不是file/jar。而是resource

所以到了这里自然就无法遍历目录下的文件了。
于是 我尝试让resource类型也走 file的方式去扫描

失败。

  • 百度google调研发现,graalvm内部资源管理自己实现了一套FileSystem,url描述符定义为resource,有一套他自定义的api(由于时间有限,暂未深入研究)
  • 对本来是目录类型的 resource使用File方式去处理,得到的结果是 file not exists!但是对于确定的文件,是可以正常读取的

于是我考虑预处理,在graalvm外面就先把能扫描到的文件清单提取出来,通过配置的方式,插件扫描的时候直接返回预置的文件清单
因为本地执行是可以正常扫描的,所以我在扫描结束的时候,增加一个输出:

  • 然后在配置中添加:

  • scan流程做如下修改

插件扫描成功并运行

扫描注解也有同样的问题,排查过程与配置文件扫描类似,解决方案已与配置文件扫描的解决方案合并,略去3W字

  • 至此,主框架已经可以run起来了,但是嵌入式数据库 h2还在作妖。
    baidu google调研,发现github已经有人提过这个问题
    https://github.com/h2database/h2database/issues/2207
    但是我尝试按照他们说的 使用1.4.199版本,却仍然各种异常。
  • 没办法,下载h2源码 加log排查吧

    首先 这里报空指针,那么唯一的可能就是 defaultProvider 为空。
    分析 defaultProvider 初始化过程


    发现了Class.forName,以及 吃掉了异常

e.printStackTrace();

打包 再来运行

Caused by: java.lang.ClassNotFoundException
......
org.h2.store.fs.disk.FilePathDisk

好嘛。native-image的agent居然没有把这个扫出来
手动把这些添加到reflect-config.json里面
再打包运行,又报了个别的 class not found
再添加 再打包

[
........,
{
    "name": "org.h2.store.fs.FilePathDisk",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathMem",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  }  ,
  {
    "name": "org.h2.store.fs.FilePathMemLZF",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNioMem",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNioMemLZF",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNioMapped",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathAsync",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathZip",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathRetryOnInterrupt",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNio",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathSplit",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.mvstore.db.MVTableEngine",
    "methods":[{"name":"<init>","parameterTypes":[] }],
    "allDeclaredFields":true
  }
]

成了!

  • 访问接口、增删改查、静态页面 、日志 都OK了

     

  • 访问接口、增删改查、静态页面 、日志 都OK了

     

  • 幸福来得如此突然。

总结

1、最终可用的打包命令

native-image  -jar solondemo.jar --allow-incomplete-classpath -H:+ReportExceptionStackTraces --enable-http

2、ld需要升级到2.26+

root@ubuntu:/home/hx/graalvm/demo3# ld -version
GNU ld (GNU Binutils for Ubuntu) 2.26.1
Copyright (C) 2015 Free Software Foundation, Inc.
This program is free software; you may redistribute it under the terms of
the GNU General Public License version 3 or (at your option) a later version.
This program has absolutely no warranty.

3、-agentlib:native-image-agent 不一定能检查出所有的反射
4、graalvm有自己的文件系统实现,暂未找到遍历目录的方法
5、第三方包不能运行时,大概率是由于反射没有检查到导致的class not found
6、排查第三方包问题时,一定要注意被吃掉的Exception
7、native-image 打包时需要5G+内存

补充:

1、native-image后序列化失败问题(比如JSON.toJSONString(JavaBean))

fastjson1.2.68版本下在程序启动时增加如下代码:

ParserConfig.getGlobalInstance().setAsmEnable(false);
SerializeConfig.getGlobalInstance().setAsmEnable(false);

2、反射方法报错:需将反射类手动配置到reflect-config.json文件中,也可在编译打包成jar时添加配置(-agentlib:native-image-agent=config-output-dir=../META-INF/native-image)后打包,然后java -jar 或java -cp运行起来后,执行对应测试用例后,会自动将反射类信息生成到

reflect-config.json文件中(但真的不一定)

配置文件样例:

[
{
  "name":"com.test.A",
  "allDeclaredFields":true,
  "allPublicFields":true,
  "queryAllPublicMethods":true,
  "methods":[
    {"name":"getA","parameterTypes":[] }, 
    {"name":"getD","parameterTypes":[] }, 
    {"name":"getF","parameterTypes":[] }, 
    {"name":"getI","parameterTypes":[] }, 
    {"name":"getQ","parameterTypes":[] }, 
    {"name":"getR","parameterTypes":[] }, 
    {"name":"getT","parameterTypes":[] }, 
    {"name":"getY","parameterTypes":[] }, 
    {"name":"getU","parameterTypes":[] }, 
    {"name":"getV","parameterTypes":[] }
  ]
}

]

3、graalvm有自己的文件系统实现,暂未找到遍历目录的方法(即上文说说的)

如果你的程序中有涉及ClassLoad.getResource("com.org")这样的代码并打算对齐返回的结果以File或Jar文件的方式扫描com.org下的所有类文件时会报错。

解决方式如上文所说,手动配置需要扫描的类文件,然后读取该配置(替代getResource方式)

4、控制native化后的二进制程序内存大小(配置参数不多说,一看就明白)

样例:./solondemo -Xmx16m -Xms16m -XX:MaxDirectMemorySize=8m

上文提到的solon scan方法 支持预配置代码已提交到 https://gitee.com/noear/solon
文中提到的solondemo项目,已经提交到 https://gitee.com/mantouchong/solondemo

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值