import org.deeplearning4j.datasets.datavec.RecordReaderDataSetIterator;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;
import org.nd4j.linalg.dataset.api.preprocessor.ImagePreProcessingScaler;
import org.springframework.web.multipart.MultipartFile;
import javax.imageio.ImageIO;
import java.awt.*;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.util.UUID;
@Slf4j
public class ImageFileUtil {
/**
- 调整后的文件宽度
*/
public static final int RESIZE_WIDTH = 28;
/**
- 调整后的文件高度
*/
public static final int RESIZE_HEIGHT = 28;
/**
-
将上传的文件存在服务器上
-
@param base 要处理的文件所在的目录
-
@param file 要处理的文件
-
@return
*/
public static String save(String base, MultipartFile file) {
// 检查是否为空
if (file.isEmpty()) {
log.error(“invalid file”);
return null;
}
// 文件名来自原始文件
String fileName = file.getOriginalFilename();
// 要保存的位置
File dest = new File(base + fileName);
// 开始保存
try {
file.transferTo(dest);
} catch (IOException e) {
log.error(“upload fail”, e);
return null;
}
return fileName;
}
/**
-
将图片转为28*28像素
-
@param base 处理文件的目录
-
@param fileName 待调整的文件名
-
@return
*/
public static String resize(String base, String fileName) {
// 新文件名是原文件名在加个随机数后缀，而且扩展名固定为png
String resizeFileName = fileName.substring(0, fileName.lastIndexOf(“.”)) + “-” + UUID.randomUUID() + “.png”;
log.info(“start resize, from [{}] to [{}]”, fileName, resizeFileName);
try {
// 读原始文件
BufferedImage bufferedImage = ImageIO.read(new File(base + fileName));
// 缩放后的实例
Image image = bufferedImage.getScaledInstance(RESIZE_WIDTH, RESIZE_HEIGHT, Image.SCALE_SMOOTH);
BufferedImage resizeBufferedImage = new BufferedImage(28, 28, BufferedImage.TYPE_INT_RGB);
Graphics graphics = resizeBufferedImage.getGraphics();
// 绘图
graphics.drawImage(image, 0, 0, null);
graphics.dispose();
// 转换后的图片写文件
ImageIO.write(resizeBufferedImage, “png”, new File(base + resizeFileName));
} catch (Exception exception) {
log.info(“resize error from [{}] to [{}], {}”, fileName, resizeFileName, exception);
resizeFileName = null;
}
log.info(“finish resize, from [{}] to [{}]”, fileName, resizeFileName);
return resizeFileName;
}
/**
-
将RGB转为int数字
-
@param alpha
-
@param red
-
@param green
-
@param blue
-
@return
*/
private static int colorToRGB(int alpha, int red, int green, int blue) {
int pixel = 0;
pixel += alpha;
pixel = pixel << 8;
pixel += red;
pixel = pixel << 8;
pixel += green;
pixel = pixel << 8;
pixel += blue;
return pixel;
}
/**
-
反色处理
-
@param base 处理文件的目录
-
@param src 用于处理的源文件
-
@return 反色处理后的新文件
-
@throws IOException
*/
public static String colorRevert(String base, String src) throws IOException {
int color, r, g, b, pixel;
// 读原始文件
BufferedImage srcImage = ImageIO.read(new File(base + src));
// 修改后的文件
BufferedImage destImage = new BufferedImage(srcImage.getWidth(), srcImage.getHeight(), srcImage.getType());
for (int i=0; i<srcImage.getWidth(); i++) {
for (int j=0; j<srcImage.getHeight(); j++) {
color = srcImage.getRGB(i, j);
r = (color >> 16) & 0xff;
g = (color >> 8) & 0xff;
b = color & 0xff;
pixel = colorToRGB(255, 0xff - r, 0xff - g, 0xff - b);
destImage.setRGB(i, j, pixel);
}
}
// 反射文件的名字
String revertFileName = src.substring(0, src.lastIndexOf(“.”)) + “-revert.png”;
// 转换后的图片写文件
ImageIO.write(destImage, “png”, new File(base + revertFileName));
return revertFileName;
}
/**
-
取黑白图片的特征
-
@param base
-
@param fileName
-
@return
-
@throws Exception
*/
public static INDArray getGrayImageFeatures(String base, String fileName) throws Exception {
log.info(“start getImageFeatures [{}]”, base + fileName);
// 和训练模型时一样的设置
ImageRecordReader imageRecordReader = new ImageRecordReader(RESIZE_HEIGHT, RESIZE_WIDTH, 1);
FileSplit fileSplit = new FileSplit(new File(base + fileName),
NativeImageLoader.ALLOWED_FORMATS);
imageRecordReader.initialize(fileSplit);
DataSetIterator dataSetIterator = new RecordReaderDataSetIterator(imageRecordReader, 1);
dataSetIterator.setPreProcessor(new ImagePreProcessingScaler(0, 1));
// 取特征
return dataSetIterator.next().getFeatures();
}
/**
-
批量清理文件
-
@param base 处理文件的目录
-
@param fileNames 待清理文件集合
*/
public static void clear(String base, String…fileNames) {
for (String fileName : fileNames) {
if (null==fileName) {
continue;
}
File file = new File(base + fileName);
if (file.exists()) {
file.delete();
}
}
}
}
- 定义service层，只有一个方法，可以通过入参决定是否做反色处理：
package com.bolingcavalry.predictnumber.service;
import org.springframework.web.multipart.MultipartFile;
public interface PredictService {
/**
-
取得上传的图片，做转换后识别成数字
-
@param file 上传的文件
-
@param isNeedRevert 是否要做反色处理
-
@return
*/
int predict(MultipartFile file, boolean isNeedRevert) throws Exception ;
}
- sevice层的实现，也是本篇的核心，有几处要注意的地方稍后会提到：
package com.bolingcavalry.predictnumber.service.impl;
import com.bolingcavalry.commons.utils.ImageFileUtil;
import com.bolingcavalry.predictnumber.service.PredictService;
import lombok.extern.slf4j.Slf4j;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.util.ModelSerializer;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import javax.annotation.PostConstruct;
import java.io.File;
@Service
@Slf4j
public class PredictServiceImpl implements PredictService {
/**
- -1表示识别失败
*/
private static final int RLT_INVALID = -1;
/**
- 模型文件的位置
*/
@Value(“${predict.modelpath}”)
private String modelPath;
/**
- 处理图片文件的目录
*/
@Value(“${predict.imagefilepath}”)
private String imageFilePath;
/**
- 神经网络
*/
private MultiLayerNetwork net;
/**
- bean实例化成功就加载模型
*/
@PostConstruct
private void loadModel() {
log.info(“load model from [{}]”, modelPath);
// 加载模型
try {
net = ModelSerializer.restoreMultiLayerNetwork(new File(modelPath));
log.info(“module summary\n{}”, net.summary());
} catch (Exception exception) {
log.error(“loadModel error”, exception);
}
}
@Override
public int predict(MultipartFile file, boolean isNeedRevert) throws Exception {
log.info(“start predict, file [{}], isNeedRevert [{}]”, file.getOriginalFilename(), isNeedRevert);
// 先存文件
String rawFileName = ImageFileUtil.save(imageFilePath, file);
if (null==rawFileName) {
return RLT_INVALID;
}
// 反色处理后的文件名
String revertFileName = null;
// 调整大小后的文件名
String resizeFileName;
// 是否需要反色处理
if (isNeedRevert) {
// 把原始文件做反色处理，返回结果是反色处理后的新文件
revertFileName = ImageFileUtil.colorRevert(imageFilePath, rawFileName);
// 把反色处理后调整为28*28大小的文件
resizeFileName = ImageFileUtil.resize(imageFilePath, revertFileName);
} else {
// 直接把原始文件调整为28*28大小的文件
resizeFileName = ImageFileUtil.resize(imageFilePath, rawFileName);
}
// 现在已经得到了结果反色和调整大小处理过后的文件，
// 那么原始文件和反色处理过的文件就可以删除了
ImageFileUtil.clear(imageFilePath, rawFileName, revertFileName);
// 取出该黑白图片的特征
INDArray features = ImageFileUtil.getGrayImageFeatures(imageFilePath, resizeFileName);
// 将特征传给模型去识别
return net.predict(features)[0];
}
}
- 上述代码中，有两需要注意：
-
loadModel方法在bean初始化时会执行，里面通过ModelSerializer.restoreMultiLayerNetwork完成模型文件加载
-
真正的识别操作其实就是MultiLayerNetwork.predict方法，一步而已，何其简单
- 然后是web接口层，对外提供两个接口：
package com.bolingcavalry.predictnumber.controller;
import com.bolingcavalry.predictnumber.service.PredictService;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;
@RestController
public class PredictController {
final PredictService predictService;
public PredictController(PredictService predictService) {
this.predictService = predictService;
}
@PostMapping(“/predict-with-black-background”)
@ResponseBody
public int predictWithBlackBackground(@RequestParam(“file”) MultipartFile file) throws Exception {
// 训练模型的时候，用的数字是白字黑底，
// 因此如果上传白字黑底的图片，可以直接拿去识别，而无需反色处理
return predictService.predict(file, false);
}
@PostMapping(“/predict-with-white-background”)
@ResponseBody
public int predictWithWhiteBackground(@RequestParam(“file”) MultipartFile file) throws Exception {
// 训练模型的时候，用的数字是白字黑底，
// 因此如果上传黑字白底的图片，就需要做反色处理，
// 反色之后就是白字黑底了，可以拿去识别
return predictService.predict(file, true);
}
}
- 最后是启动类：
package com.bolingcavalry.predictnumber;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
public class PredictNumberApplication {
public static void main(String[] args) {
SpringApplication.run(PredictNumberApplication.class, args);
}
}
- 此时代码编写已经完成了，您现在就可以运行此应用来验证功能了，不过事情还没结束，因为在《三分钟体验：SpringBoot用深度学习模型识别数字》一文中，咱们是用docker来体验功能的，所以接下来咱们将这个SpringBoot应用做成docker镜像
制作docker镜像
-
将SpringBoot应用做成docker镜像有很多方法，这里选用的是SpringBoot官方推荐的方式：
-
先把Dockerfile文件写好，放在predict-number-image目录下，可见只是简单的文件复制操作，然后指定启动命令：
8-jdk-alpine版本启动的时候会crash
FROM openjdk:8u292-jdk
创建目录
RUN mkdir -p /app/images && mkdir -p /app/model
指定镜像的内容的来源位置
ARG DEPENDENCY=target/dependency
复制内容到镜像
COPY ${DEPENDENCY}/BOOT-INF/lib /app/lib
COPY ${DEPENDENCY}/META-INF /app/META-INF
COPY ${DEPENDENCY}/BOOT-INF/classes /app
指定启动命令
ENTRYPOINT [“java”,“-cp”,“app:app/lib/*”,“com.bolingcavalry.predictnumber.PredictNumberApplication”]
-
接下来准备Dockerfile中所需的那些文件，在父工程目录下执行mvn clean package -U，这是个纯粹的maven操作，和docker没有任何关系
-
进入predict-number-image目录，执行以下命令，作用是从jar文件中提取class、配置文件、依赖库等内容到target/dependency目录:
mkdir -p target/dependency && (cd target/dependency; jar -xf …/*.jar)
-
最后，在Dockerfile文件所在目录执行命令docker build -t bolingcavalry/dl4j-model-app:0.0.3 .(命令的最后有个点，不要漏了)，即可完成镜像制作
-
如果您有hub.docker.com的账号，还可以通过docker push命令把镜像推送到中央仓库，让更多的人用到：
-
最后，再来回顾一下《三分钟体验：SpringBoot用深度学习模型识别数字》一文中启动docker容器的命令，如下可见，通过两个-v参数，将宿主机的目录映射到容器中，因此，容器中的/app/images和/app/model可以保持不变，只要能保证宿主机的目录映射正确即可：
docker run \
–rm \
-p 18080:8080 \
-v /home/will/temp/202106/29/images:/app/images \
-v /home/will/temp/202106/29/model:/app/model \
bolingcavalry/dl4j-model-app:0.0.3
-
有关SpringBoot官方推荐的docker镜像制作的更多信息，请参考《SpringBoot(2.4)应用制作Docker镜像(Gradle版官方方案)》
-
至此，SpringBoot用深度学习模型识别数字的开发实战就完成了，如果您是一位对深度学习感兴趣的java程序员，相信本文能给您带来一些参考，更多深度学习的实战请关注欣宸的《DL4J实战》系列原创；
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）
Java高频面试专题合集解析：
当然在这还有更多整理总结的Java进阶学习笔记和面试题未展示，其中囊括了Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并发等架构资料和完整的Java架构学习进阶导图！
更多Java架构进阶资料展示
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
Lgbix-1713321968099)]
[外链图片转存中…(img-KFQxlFM3-1713321968100)]
[外链图片转存中…(img-U1Z9nesX-1713321968100)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）
Java高频面试专题合集解析：
[外链图片转存中…(img-ichmAy3O-1713321968100)]
当然在这还有更多整理总结的Java进阶学习笔记和面试题未展示，其中囊括了Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并发等架构资料和完整的Java架构学习进阶导图！
[外链图片转存中…(img-KtVaiYUk-1713321968101)]
更多Java架构进阶资料展示
[外链图片转存中…(img-24s4yZOh-1713321968101)]
[外链图片转存中…(img-m52bJe45-1713321968101)]
[外链图片转存中…(img-jM4cs3RX-1713321968101)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
扫一扫
818
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
