深度学习工程实践 5. libtorch+opencv使用复杂的训练分割模型(脸部,头发实现分割)

1. 概述

有的时候,我们希望在应用中直接使用已经训练好的模型。这在使用Python的环境下,比较方便,但是python要部署到应用端,还是非常麻烦的,没有libtorch - c++来的直接。 本篇介绍了libtorch如何快速使用训练好的model,并且将结果用opencv显示出来。

本篇用到的model
这里,笔者为了进行人像简笔画制作,需要提取人像中的头发。 笔者直接参考了https://github.com/kampta/face-seg这个网络,他是基于mobildnet+u-net的一个分割网络,可以对头发和整个脸部进行较为准确的分割。

2. 目标

  • libtorch+opencv使用已经训练好的人脸头发分割模型

3. 工程实践

3.1 找到原始的网络定义,使用torch.jit.trace对模型进行转换

笔者开始没有明白,要进行模型转换,就一定要先找到原始的网络定义类,否则不可能实现模型转换,生成的训练模型也不可能能够部署到libtorch上去。
我们首先,下载这个face-seg的网络定义文件下来:

import torch
import torchvision.models as models
import torch.nn as nn
from nets.MobileNetV2_unet import MobileNetV2_unet

#必须跟训练时定义的网络一样
model = MobileNetV2_unet(None).to(torch.device("cpu"))
model.load_state_dict(torch.load('./model-hair.pt', map_location='cpu'))
model.eval()
print(mo
  • 4
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
图像分割是计算机视觉中的重要任务之一,它的目标是将一幅图像分割成多个具有独立语义的区域。在OCR中,图像分割是将文本区域从图像中分离出来的重要步骤。Python和OpenCV是常用的图像处理工具,下面我们来介绍如何使用Python和OpenCV实现OCR图像分割。 首先,我们需要安装OpenCV和Tesseract OCR。可以通过以下命令安装: ``` pip install opencv-python pip install pytesseract ``` 接下来,我们可以使用以下代码对图像进行分割: ```python import cv2 import pytesseract # 读入图像 img = cv2.imread("test.jpg") # 灰度化 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 二值化 thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1] # 腐蚀操作 kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3)) erode = cv2.erode(thresh, kernel, iterations=1) # 查找轮廓 contours, hierarchy = cv2.findContours(erode, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 绘制轮廓 for contour in contours: x, y, w, h = cv2.boundingRect(contour) cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2) # 显示结果 cv2.imshow('result', img) cv2.waitKey(0) ``` 代码解释: 1. 首先读入图像。 2. 灰度化:将图像转换为灰度图像,方便后续处理。 3. 二值化:将图像转换为黑白图像,方便后续处理。 4. 腐蚀操作:对二值图像进行腐蚀操作,将字符区域连接成一个整体。 5. 查找轮廓:使用OpenCV的findContours函数查找轮廓。 6. 绘制轮廓:将轮廓绘制在原始图像上。 7. 显示结果:显示处理结果。 使用pytesseract库可以将分割出来的文本区域进行OCR识别,具体代码如下: ```python import cv2 import pytesseract # 读入图像 img = cv2.imread("test.jpg") # 灰度化 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 二值化 thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1] # 腐蚀操作 kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3)) erode = cv2.erode(thresh, kernel, iterations=1) # 查找轮廓 contours, hierarchy = cv2.findContours(erode, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 绘制轮廓并识别文本 for contour in contours: x, y, w, h = cv2.boundingRect(contour) cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2) roi = img[y:y+h, x:x+w] text = pytesseract.image_to_string(roi, lang='chi_sim') print(text) # 显示结果 cv2.imshow('result', img) cv2.waitKey(0) ``` 代码解释: 1. 首先读入图像。 2. 灰度化:将图像转换为灰度图像,方便后续处理。 3. 二值化:将图像转换为黑白图像,方便后续处理。 4. 腐蚀操作:对二值图像进行腐蚀操作,将字符区域连接成一个整体。 5. 查找轮廓:使用OpenCV的findContours函数查找轮廓。 6. 绘制轮廓并识别文本:将轮廓绘制在原始图像上,并使用pytesseract库对文本进行OCR识别。 7. 显示结果:显示处理结果。 以上就是使用Python和OpenCV实现OCR图像分割的方法。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值