DJL Java环境下部署pytorch模型推理

最新推荐文章于 2025-02-02 23:26:03 发布

陈末的无涯

最新推荐文章于 2025-02-02 23:26:03 发布

阅读量8.2k

点赞数 1

文章标签： java pytorch 深度学习

本文链接：https://blog.csdn.net/weixin_43401230/article/details/126021623

版权

本文介绍了如何在Java环境下利用DJL框架部署PyTorch模型，详细阐述了DJL的特性以及POM文件配置、模型加载过程中遇到的坑。通过设置Translator和Criteria来实现模型预测，并给出了加载本地模型的步骤，帮助开发者解决跨语言深度学习部署的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于大数据基本都是Java环境，希望与深度学习结合的话，需要将深度学习模型部署在Java环境下。传统方式使用flask搭建接口，在Java环境中对其调用，但通信时间和内存问题限制了这种方式的发展。

DJL是采用Java编写的深度学习框架，支持MXnet，Tensorflow，Pytorch引擎，这意味着同一个模型采用不同语言编写，在DJL框架中运行只需要更改依赖，代码完全一样即可执行。关于DJL更多的介绍大家可以浏览DJL官网，知乎，以及b站的课程。

知乎专栏：DJL深度学习库 - 知乎

b站课程录播：深度学习兽的个人空间_哔哩哔哩_Bilibili

GitHub：DeepJavaLibrary · GitHub

下面介绍部署pytorch模型步骤以及我个人遇到的一些坑，希望对大家有所帮助

首先是pom文件依赖

import torch
print(torch.__version__)

首先使用该命令查看本地环境下的pytorch版本，根据本地的pytorch版本，选取合适的engine

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

陈末的无涯

关注关注

1
点赞
踩
44

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

DJL快速入门（纯Java跑深度学习模型）

iioSnail的博客

06-29

2万+

DJL快速入门（纯Java跑深度学习模型） 1. DJL核心内容讲解 2. DJL加载Pytorch模型 3. DJL的Tensor操作 4. DJL简单案例（DJL使用Pytorch模型完成图片分类） 5. OpenPose项目实战

Windows下的DJL安装和部署Java机器学习与PyTorch

StyVue的博客

09-18

384

4 条评论您还未登录，请先登录后发表或查看评论

Java Spring Boot 使用DJL 部署python训练的PyTorch模型（MNIST）

weixin_38582851的博客

12-20

2973

Java Spring Boot 使用DJL 部署python训练的PyTorch模型（MNIST）

AI应用使用DJL训练大模型------AI

最新发布

在经历了无数个黑夜之后，我决定自己成为太阳

02-02

607

AI应用使用DJL训练大模型------AI

java运行pytorch模型

羊城迷鹿的博客

08-29

2749

后续的java代码不能直接处理IValue类型的数据，因此要将其解析为传统的数组类型。由于模型输出的结果包含多项，因此result是Tuple类型，从中取出一项并返回数组的示例如下。fromBlob函数输入的两个参数分别是展平的一维数组和原始大小，返回大小为batchSize。，这是pytorch在java中的基本运算单位。之后将tensor数据转换为IValue作为forward函数的输入。以nlp任务为例，可以定义一个InputFeatures类，输入为文本，将其解析为以下数据。...

Java使用pytorch模型进行数据推算

DAMN WHERE'D YOU FIND THAT

02-21

8687

我的Java后台需要对数据进行分析，但找不到合适的方法，就准备用pytorch写个模型凑活着用。使用的DJL调用pytorch引擎 Github：djl/README.md at master · deepjavalibrary/djl · GitHub pom.xml中添加依赖： <dependency> <groupId>ai.djl.pytorch</groupId> <artifactId>pytorch-engine</

java 如何检测目标服务器无响应_5分钟！用Java实现目标检测

weixin_34168167的博客

02-16

403

PyTorch在深度学习领域中的应用日趋广泛，得益于它独到的设计。无论是数据的并行处理还是动态计算图，一切都为 Python 做出了很多简化。很多论文都选择使用PyTorch去实现也证明了它在训练方面的效率以及易用性。在PyTorch领域，尽管部署一个模型有很多选择，可为Java开发人员准备的选项却屈指可数。在过去，用户可以用PyTorch C++ 写JNI (Java Native Inter...

Java调用Pytorch模型进行图像识别

DAMN WHERE'D YOU FIND THAT

05-04

8804

之前写了个输入是1x2向量的模型的调用文章，后来有了个需要用到图像识别的项目，因此写下此文记录一下在java中如何借助DJL调用自己写的pytorch模型进行图像识别。官网例子我具体模型用的什么模型就不介绍了，输入图片是3*224*224，放入图片前需要看一下横纵比是否合理，不合理的话会进行下面这样的操作： 1. 依赖官网说高版本可以向下适配，直接用最新版0.16.0得了 <dependency> <groupId>ai.djl.pytorch&l

从零开发短视频电商用Java框架部署模型并推理 - Deep Java Library (DJL)

laker的博客

12-09

3040

DJL 在 Java 中提供与 Hugging Face Tokenizers 支持的相同功能。以下代码显示了如何加载 Hugging Face 中的模型以及如何完成标记化。这里使用的模型为：distilbert-multilingual-nli-stsb-quora-ranking。模型带有特定的标记器，它提供不同的标记字典并转换不同标记中的单词和句子。选择引擎，必须将其添加到 Java 类路径中，即添加对应的 Maven 依赖。基本模型库，基本模型包中提供与引擎无关的。，可以很方便的加载使用内置模型。

用Java实现机器学习模型：深入探索Deep Java Library (DJL)

一个被知识诅咒的人

10-16

2407

本文详细介绍了如何使用Deep Java Library (DJL)在Java中实现机器学习模型的构建、训练和部署。DJL是一款支持多种深度学习引擎（如PyTorch、TensorFlow等）的Java库，简化了机器学习开发流程。文章首先展示了如何使用DJL加载预训练模型进行图像分类，随后介绍了构建和训练自定义卷积神经网络（CNN）模型，使用MNIST数据集进行训练和推理。最后，文章展示了如何通过BERT模型进行自然语言处理（NLP）任务，如文本分类。DJL为Java开发者提供了灵活的机器学习开发工具，使得

java加载pytorch模型,使用Dev Pytorch 1.0将Pytorch模型加载到C中

weixin_33132819的博客

03-15

404

Pytorch 1.0具有将模型转换为火炬脚本程序(以某种方式序列化)的功能，以使其能够在没有Python依赖性的情况下在C中执行 .这是如何做到的：import torchimport torchvision# An instance of your model.model = A UNET MODEL FROM FASTAI which has hooks as required by UNE...

java jna 调用pytorch c++模型推理

12-30

java 通过jna调用c++ 推理方法用c++ 做pytorch torch script 推理

djl:Java中与引擎无关的深度学习框架

05-11

深度Java库（DJL）概述深度Java库（DJL）是用于深度学习的开源，高级别，与引擎无关的Java框架。 DJL的设计旨在使Java开发人员易于上手并易于使用。 DJL提供了本机Java开发经验和功能，就像其他任何常规Java库一样。您无需成为机器学习/深度学习专家即可上手。您可以将现有的Java专业知识用作入门来学习和使用机器学习和深度学习。您可以使用自己喜欢的IDE来构建，训练和部署模型。 DJL使您可以轻松地将这些模型与Java应用程序集成。由于DJL与深度学习引擎无关，因此在创建项目时无需在引擎之间做出选择。您可以随时切换引擎。为了确保最佳性能，DJL还根据硬件配置提供自动的CPU / GPU选择。 DJL的人体工程学API接口旨在指导您以最佳实践完成深度学习任务。以下伪代码演示了运行推断： // Assume user uses a pre-t

djl：Java中与引擎无关的深度学习框架

02-03

深度Java库（DJL）总览深度Java库（DJL）是用于深度学习的开源，高级别，与引擎无关的Java框架。 DJL的设计旨在使Java开发人员易于上手并易于使用。 DJL提供了本机Java开发经验和功能，就像其他任何常规Java库一样。您无需成为机器学习/深度学习专家即可上手。您可以将现有的Java专业知识用作入门来学习和使用机器学习和深度学习。您可以使用自己喜欢的IDE来构建，训练和部署模型。 DJL使将这些模型与Java应用程序轻松集成成为可能。由于DJL与深度学习引擎无关，因此在创建项目时无需在引擎之间做出选择。您可以随时切换引擎。为了确保最佳性能，DJL还根据硬件配置提供自动的CPU / GPU选择。 DJL的人体工程学API接口旨在指导您以最佳实践完成深度学习任务。以下伪代码演示了运行推断： // Assume user uses a pre-trained model from model zoo, they just need to load it Criteria< Image> crite

java web项目部署pytorch模型方案探索

在知识的海洋中遨游

07-08

4328

一、背景使用pytorch做模型训练，训练完成后想集成到java web项目中。同时整体项目后续也会做离线环境的前场化部署。因此，想寻求一种部署简单的方案。二、方案探索 1. 使用java部署推理模型 1.1 资料： onnx支持使用java api：https://github.com/microsoft/onnxruntime/tree/master/java pytorch模型转成onnx格式：https://github.com/microsoft/onnxrun...

Spring Boot中集成DJL运行Python PyTorch模型：MNIST实战

lazycatlove的博客

07-07

643

Java 使用 DJL 训练模型：https://blog.csdn.net/xundh/category_11361043.html?DJL官网：https://docs.djl.ai/index.html。

Java调用Pytorch训练好的模型进行数据分类

Jacky__Lv的博客

01-24

1051

Java调用Pytorch训练好的模型进行数据分类

pytorch支持java吗_5分钟！用Java实现目标检测 (PyTorch)

weixin_42515120的博客

02-24

1402

PyTorch在深度学习领域中的应用日趋广泛，得力于它独到的设计。无论是数据的并行处理还是动态计算图，一切都为Python做出了很多简化。很多论文都选择使用PyTorch去实现也证明了它在训练方面的效率以及易用性。在PyTorch领域，尽管部署一个模型有很多选择，可为Java开发人员准备的选项却屈指可数。在过去，用户可以用PyTorch C++ 写JNI (Java Native Interfac...

Java调用Pytorch实现以图搜图（附源码）

1853

06-10

5170

以图搜图

DJL调用训练好的模型

12-29

### 如何使用DJL加载和使用预训练模型为了展示如何利用DJL库加载并应用已有的预训练模型，在此提供了一个简单实例，该例子展示了怎样快速部署一个用于图像分类的任务。具体来说，这段代码实现了对手写数字图片的识别。 ```java import ai.djl.Model; import ai.djl.inference.Predictor; import ai.djl.modality.cv.ImageFactory; import ai.djl.repository.zoo.Criteria; import ai.djl.translate.TranslateException; Model model = Model.newInstance("mnist"); model.load(getClass().getClassLoader(), "mlp"); Criteria<Image, Classifications> criteria = Criteria.builder() .setTypes(Image.class, Classifications.class) .optModelUrls("/path/to/model") // 模型路径 .optTranslator(new ImageClassificationTranslator()) .optEngine("PyTorch") // 引擎选择 .build(); try (Predictor<Image, Classifications> predictor = model.newPredictor(criteria)) { BufferedImage img = ImageFactory.getInstance().fromFile(new File("test.png")); Classifications prediction = predictor.predict(img); } ``` 上述代码片段说明了几个重要方面： - 创建一个新的`Model`对象来表示要使用的神经网络架构[^1]。 - 调用`load()`函数加载本地磁盘上的特定目录下的权重文件。 - 构建`Criteria`类定义输入输出的数据类型以及转换逻辑，并指定了所采用的推理引擎。 - 使用`newPredictor()`方法初始化预测器，准备执行推断操作。对于想要进一步优化性能或者自定义行为的情况，可以通过调整批量处理尺寸(`batchSize`)来自定义数据集构建方式[^2]: ```java int batchSize = 32; // 批量大小设置为32 Mnist trainingDataset = Mnist.builder() .optUsage(Usage.TRAIN) // 设置为训练模式 .setSampling(batchSize, true) .build(); Mnist validationDataset = Mnist.builder() .optUsage(Usage.TEST) // 设置为测试/验证模式 .setSampling(batchSize, true) .build(); ``` 此外，当涉及到更复杂的场景时，比如希望监控训练进度或是捕获中间状态以便后续分析，则可以考虑配置`Trainer`结构体及其关联组件——即通过`DefaultTrainingConfig`指定损失函数、评估指标以及其他必要的超参数；同时还可以注册`TrainingListener`接口实现类以获取周期性的反馈信息[^4]。