| :-- | :-- | :-- |
| 项目主页 | https://github.com/zq2599/blog_demos | 该项目在GitHub上的主页 |
| git仓库地址(https) | https://github.com/zq2599/blog_demos.git | 该项目源码的仓库地址,https协议 |
| git仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该项目源码的仓库地址,ssh协议 |
- 这个git项目中有多个文件夹,《DL4J实战》系列的源码在dl4j-tutorials文件夹下,如下图红框所示:
- dl4j-tutorials文件夹下有多个子工程,本次实战代码在dlfj-tutorials目录下,如下图红框:
训练实战
-
整个训练的详细过程,也就是minist-model.zip的生成过程,已在《DL4J实战之三:经典卷积实例(LeNet-5)》一文中详细说明,也给出了完整的代码,您只要按照文中所说操作一遍即可,不过操作之前有个问题要特别注意:
-
《DL4J实战之三:经典卷积实例(LeNet-5)》一文中使用的deeplearning4j框架的版本是1.0.0-beta6,请您将其改为1.0.0-beta7,具体的改动方法是打开simple-convolution工程的pom.xml文件(注意是simple-convolution工程,不是它的父工程dlfj-tutorials),修改下图红框2位置的内容:
-
改完后即可运行程序生成模型文件,然后进入使用模型的阶段
-
您可能会问,为什么之 《DL4J实战之三:经典卷积实例(LeNet-5)》一文中会用1.0.0-beta6版本呢?其实那里是为了使用GPU加速训练过程,那时候1.0.0-beta7不支持CUDA-9.2,在本文中不会用到GPU加速,因此推荐使用1.0.0-beta7版本
-
接下来开始开发SpringBoot应用,在应用中使用模型去识别图片
SpringBoot应用设计(第一个关键点)
- 在设计阶段有两个关键点要提前注意,第一个和图片大小有关:在训练模型时,使用的图片都是28*28像素,所以咱们的应用在收到用户提交的图片后,需要做缩放处理将其缩放到28*28像素
SpringBoot应用设计(第二个关键点)
- 再看看用于训练的图片,如下图,所有图片都是黑底白字:
-
那么问题来了:模型是根据黑底白字训练的,无法识别白底黑字,遇到白底黑字的图片该如何处理呢?
-
所以如果用户输入的是白底黑字的图片,咱们的程序来做颜色反转,将其变为黑底白字再做识别
SpringBoot应用设计(流程设计)
- 现在咱们来梳理一下整个流程,如果用户输入的是白底黑字的图片,那么整个应用的处理流程如下:
-
如果用户输入的是黑底白字的图片,只需要将上述流程中的反色处理去掉即可
-
为白底黑字图片提供专用接口predict-with-white-background
-
为黑底白字图片提供专用接口predict-with-black-background
-
现在设计工作已经完成,可以开始编码了
使用模型(编码)
- 为了便于管理demo代码和依赖库的版本,《DL4J实战之一:准备》一文中创建了名为dl4j-tutorials的maven工程,咱们今天新建的应用也是dl4j-tutorials的子工程,名为predict-number-image,其自身的pom.xml内容如下:
<project xmlns=“http://maven.apache.org/POM/4.0.0”
xmlns:xsi=“http://www.w3.org/2001/XMLSchema-instance”
xsi:schemaLocation=“http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd”>
dlfj-tutorials
com.bolingcavalry
1.0-SNAPSHOT
4.0.0
predict-number-image
jar
org.springframework.boot
spring-boot-dependencies
${springboot.version}
pom
import
com.bolingcavalry
commons
${project.version}
org.nd4j
nd4j-native-platform
ch.qos.logback
logback-classic
org.springframework.boot
spring-boot-starter-web
org.springframework.boot
spring-boot-maven-plugin
com.bolingcavalry.predictnumber.PredictNumberApplication
repackage
-
可见predict-number-image工程与其父工程dlfj-tutorials的关系不大,仅仅使用了父工程定义的几个库的版本号而已,您也可以独立创建一个没有父子关系的工程;
-
新建配置文件application.properties,里面有图片相关的配置:
上传文件总的最大值
spring.servlet.multipart.max-request-size=1024MB
单个文件的最大值
spring.servlet.multipart.max-file-size=10MB
处理图片文件的目录
predict.imagefilepath=/app/images/
模型所在位置
predict.modelpath=/app/model/minist-model.zip
- 将处理图片所需的静态方法集中在ImageFileUtil.java的文件中,主要是save(存到磁盘上)、resize(缩放)、colorRevert(反色)、clear(清理)、getGrayImageFeatures(提取特征,操作和训练时的是一样的):
package com.bolingcavalry.commons.utils;
import lombok.extern.slf4j.Slf4j;
import org.datavec.api.split.FileSplit;
import org.datavec.image.loader.NativeImageLoader;
import org.datavec.image.recordreader.ImageRecordReader;
import org.deeplearning4j.datasets.datavec.RecordReaderDataSetIterator;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;
import org.nd4j.linalg.dataset.api.preprocessor.ImagePreProcessingScaler;
import org.springframework.web.multipart.MultipartFile;
import javax.imageio.ImageIO;
import java.awt.*;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.util.UUID;
@Slf4j
public class ImageFileUtil {
/**
- 调整后的文件宽度
*/
public static final int RESIZE_WIDTH = 28;
/**
- 调整后的文件高度
*/
public static final int RESIZE_HEIGHT = 28;
/**
-
将上传的文件存在服务器上
-
@param base 要处理的文件所在的目录
-
@param file 要处理的文件
-
@return
*/
public static String save(String base, MultipartFile file) {
// 检查是否为空
if (file.isEmpty()) {
log.error(“invalid file”);
return null;
}
// 文件名来自原始文件
String fileName = file.getOriginalFilename();
// 要保存的位置
File dest = new File(base + fileName);
// 开始保存
try {
file.transferTo(dest);
} catch (IOException e) {
log.error(“upload fail”, e);
return null;
}
return fileName;
}
/**
-
将图片转为28*28像素
-
@param base 处理文件的目录
-
@param fileName 待调整的文件名
-
@return
*/
public static String resize(String base, String fileName) {
// 新文件名是原文件名在加个随机数后缀,而且扩展名固定为png
String resizeFileName = fileName.substring(0, fileName.lastIndexOf(“.”)) + “-” + UUID.randomUUID() + “.png”;
log.info(“start resize, from [{}] to [{}]”, fileName, resizeFileName);
try {
// 读原始文件
BufferedImage bufferedImage = ImageIO.read(new File(base + fileName));
// 缩放后的实例
Image image = bufferedImage.getScaledInstance(RESIZE_WIDTH, RESIZE_HEIGHT, Image.SCALE_SMOOTH);
BufferedImage resizeBufferedImage = new BufferedImage(28, 28, BufferedImage.TYPE_INT_RGB);
Graphics graphics = resizeBufferedImage.getGraphics();
// 绘图
graphics.drawImage(image, 0, 0, null);
graphics.dispose();
// 转换后的图片写文件
ImageIO.write(resizeBufferedImage, “png”, new File(base + resizeFileName));
} catch (Exception exception) {
log.info(“resize error from [{}] to [{}], {}”, fileName, resizeFileName, exception);
resizeFileName = null;
}
log.info(“finish resize, from [{}] to [{}]”, fileName, resizeFileName);
return resizeFileName;
}
/**
-
将RGB转为int数字
-
@param alpha
-
@param red
-
@param green
-
@param blue
-
@return
*/
private static int colorToRGB(int alpha, int red, int green, int blue) {
int pixel = 0;
pixel += alpha;
pixel = pixel << 8;
pixel += red;
pixel = pixel << 8;
pixel += green;
pixel = pixel << 8;
pixel += blue;
return pixel;
}
/**
-
反色处理
-
@param base 处理文件的目录
-
@param src 用于处理的源文件
-
@return 反色处理后的新文件
-
@throws IOException
*/
public static String colorRevert(String base, String src) throws IOException {
int color, r, g, b, pixel;
// 读原始文件
BufferedImage srcImage = ImageIO.read(new File(base + src));
// 修改后的文件
BufferedImage destImage = new BufferedImage(srcImage.getWidth(), srcImage.getHeight(), srcImage.getType());
for (int i=0; i<srcImage.getWidth(); i++) {
for (int j=0; j<srcImage.getHeight(); j++) {
color = srcImage.getRGB(i, j);
r = (color >> 16) & 0xff;
g = (color >> 8) & 0xff;
b = color & 0xff;
pixel = colorToRGB(255, 0xff - r, 0xff - g, 0xff - b);
destImage.setRGB(i, j, pixel);
}
}
// 反射文件的名字
String revertFileName = src.substring(0, src.lastIndexOf(“.”)) + “-revert.png”;
// 转换后的图片写文件
ImageIO.write(destImage, “png”, new File(base + revertFileName));
return revertFileName;
}
/**
-
取黑白图片的特征
-
@param base
-
@param fileName
-
@return
-
@throws Exception
*/
public static INDArray getGrayImageFeatures(String base, String fileName) throws Exception {
log.info(“start getImageFeatures [{}]”, base + fileName);
// 和训练模型时一样的设置
ImageRecordReader imageRecordReader = new ImageRecordReader(RESIZE_HEIGHT, RESIZE_WIDTH, 1);
FileSplit fileSplit = new FileSplit(new File(base + fileName),
NativeImageLoader.ALLOWED_FORMATS);
imageRecordReader.initialize(fileSplit);
DataSetIterator dataSetIterator = new RecordReaderDataSetIterator(imageRecordReader, 1);
dataSetIterator.setPreProcessor(new ImagePreProcessingScaler(0, 1));
// 取特征
return dataSetIterator.next().getFeatures();
}
/**
-
批量清理文件
-
@param base 处理文件的目录
-
@param fileNames 待清理文件集合
*/
public static void clear(String base, String…fileNames) {
for (String fileName : fileNames) {
if (null==fileName) {
continue;
}
File file = new File(base + fileName);
if (file.exists()) {
file.delete();
}
}
}
}
- 定义service层,只有一个方法,可以通过入参决定是否做反色处理:
package com.bolingcavalry.predictnumber.service;
import org.springframework.web.multipart.MultipartFile;
public interface PredictService {
/**
-
取得上传的图片,做转换后识别成数字
-
@param file 上传的文件
-
@param isNeedRevert 是否要做反色处理
-
@return
*/
int predict(MultipartFile file, boolean isNeedRevert) throws Exception ;
}
- sevice层的实现,也是本篇的核心,有几处要注意的地方稍后会提到:
package com.bolingcavalry.predictnumber.service.impl;
import com.bolingcavalry.commons.utils.ImageFileUtil;
import com.bolingcavalry.predictnumber.service.PredictService;
import lombok.extern.slf4j.Slf4j;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.util.ModelSerializer;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import javax.annotation.PostConstruct;
import java.io.File;
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
总结
一般像这样的大企业都有好几轮面试,所以自己一定要花点时间去收集整理一下公司的背景,公司的企业文化,俗话说「知己知彼百战不殆」,不要盲目的去面试,还有很多人关心怎么去跟HR谈薪资。
这边给大家一个建议,如果你的理想薪资是30K,你完全可以跟HR谈33~35K,而不是一下子就把自己的底牌暴露了出来,不过肯定不能说的这么直接,比如原来你的公司是25K,你可以跟HR讲原来的薪资是多少,你们这边能给到我的是多少?你说我这边希望可以有一个20%涨薪。
最后再说几句关于招聘平台的,总之,简历投递给公司之前,请确认下这家公司到底咋样,先去百度了解下,别被坑了,每个平台都有一些居心不良的广告党等着你上钩,千万别上当!!!
Java架构学习资料,学习技术内容包含有:Spring,Dubbo,MyBatis, RPC, 源码分析,高并发、高性能、分布式,性能优化,微服务 高级架构开发等等。
还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书。
XKqhUrWF-1712111009003)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-V1NOwRM5-1712111009003)]
总结
一般像这样的大企业都有好几轮面试,所以自己一定要花点时间去收集整理一下公司的背景,公司的企业文化,俗话说「知己知彼百战不殆」,不要盲目的去面试,还有很多人关心怎么去跟HR谈薪资。
这边给大家一个建议,如果你的理想薪资是30K,你完全可以跟HR谈33~35K,而不是一下子就把自己的底牌暴露了出来,不过肯定不能说的这么直接,比如原来你的公司是25K,你可以跟HR讲原来的薪资是多少,你们这边能给到我的是多少?你说我这边希望可以有一个20%涨薪。
最后再说几句关于招聘平台的,总之,简历投递给公司之前,请确认下这家公司到底咋样,先去百度了解下,别被坑了,每个平台都有一些居心不良的广告党等着你上钩,千万别上当!!!
Java架构学习资料,学习技术内容包含有:Spring,Dubbo,MyBatis, RPC, 源码分析,高并发、高性能、分布式,性能优化,微服务 高级架构开发等等。
还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书。
[外链图片转存中…(img-FU1dRDiT-1712111009003)]