【神经网络与深度学习】4.深度学习视觉应用

甜甜小企鹅

已于 2023-04-16 21:48:47 修改

阅读量98

点赞数

分类专栏：神经网络与深度学习文章标签：深度学习神经网络

于 2023-04-16 20:35:27 首次发布

本文链接：https://blog.csdn.net/weixin_46394952/article/details/130030032

版权

神经网络与深度学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

深度学习视觉应用

算法评估

TP: 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数
FP: 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数
FN:被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数
TN: 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数

准确率(Accuracy)： $\frac{T P+T N}{T P+T N+F P+F N}$
精确率(Precision)： $\frac{TP}{TP+FP}$
召回率(Recall)： $\frac{TP}{TP+FN}$ 。召回率越高，准确度越低
均值平均准确率(Average Precision)：相当于PR曲线下的面积
$P=\sum_{k=1}^{N} P(k) \Delta r(k)$

P-R曲线

目标检测（YOLO）

基本原理

很多时候图像里有多个我们感兴趣的目标，我们不仅想知道它们的类别，还想得到它们在图像中的具体位置。在计算机视觉里，我们将这类任务称为目标检测（object detection）或物体检测。

目标检测在多个领域中被广泛使用。例如，在无人驾驶里，我们需要通过识别拍摄到的视频图像里的车辆、行人、道路和障碍的位置来规划行进线路。机器人也常通过该任务来检测感兴趣的目标。安防领域则需要检测异常目标，如歹徒或者炸弹。

%matplotlib inline
from PIL import Image
import sys
sys.path.append("..") 
import d2lzh_pytorch as d2l
d2l.set_figsize()
img = Image.open('img/catdog.jpg')
d2l.plt.imshow(img);

d2l.set_figsize()
img = Image.open('img/catdog.jpg')
d2l.plt.imshow(img); 
# 加分号只显示图
dog_bbox, cat_bbox = [60, 45, 378, 516], [400, 112, 655, 493]

def bbox_to_rect(bbox, color): 
# 将边界框(左上x, 左上y, 右下x, 右下y)格式转换成matplotlib格式：
# ((左上x, 左上y), 宽, 高)
return d2l.plt.Rectangle(xy=(bbox[0], bbox[1]), width=bbox[2]-bbox[0],height=bbox[3]-bbox[1],fill=False, edgecolor=color,linewidth=2)

fig = d2l.plt.imshow(img)
fig.axes.add_patch(bbox_to_rect(dog_bbox, 'blue'))
fig.axes.add_patch(bbox_to_rect(cat_bbox, 'red'));

语义分割

语义分割关注如何将图像分割成属于不同语义类别的区域。值得一提的是，这些语义区域的标注和预测都是像素级的。下图展示了语义分割中图像有关狗、猫和背景的标签。可以看到，与目标检测相比，语义分割标注的像素级的边框显然更加精细。
在这里插入图片描述

相似概念辨析：

图像分割
图像分割将图像分割成若干组成区域。这类问题的方法通常利用图像中像素之间的相关性。它在训练时不需要有关图像像素的标签信息，在预测时也无法保证分割出的区域具有我们希望得到的语义。
实例分割
实例分割又叫同时检测并分割。它研究如何识别图像中各个目标实例的像素级区域。与语义分割有所不同。

%matplotlib inline
import time
import torch
import torch.nn.functional as F
import torchvision
import numpy as np
from PIL import Image
from tqdm import tqdm
import sys
sys.path.append("..") 
import d2lzh_pytorch as d2l

def read_voc_images(root="../../data/VOCdevkit/VOC2012", 
is_train=True, max_num=None):
txt_fname = '%s/ImageSets/Segmentation/%s' % (
root, 'train.txt' if is_train else 'val.txt')
with open(txt_fname, 'r') as f:
images = f.read().split()
if max_num is not None:
images = images[:min(max_num, len(images))]
features, labels = [None] * len(images), [None] * len(images)
for i, fname in tqdm(enumerate(images)):
features[i] = Image.open('%s/JPEGImages/%s.jpg' % 
(root,fname)).convert("RGB")
labels[i] = Image.open('%s/SegmentationClass/%s.png' % 
(root,fname)).convert("RGB")
return features, labels # PIL image
voc_dir = "../../data/VOCdevkit/VOC2012"
train_features, train_labels = read_voc_images(voc_dir, max_num=100)

n = 5
imgs = train_features[0:n] + train_labels[0:n]
d2l.show_images(imgs, 2, n);

风格迁移

使用卷积神经网络自动将某图像中的样式应用在另一图像之上，即风格迁移。我们需要两张输入图像，一张是内容图像，另一张是样式图像，目标是修改内容图像使其在样式上接近样式图像。
在这里插入图片描述

首先，我们初始化合成图像，例如将其初始化成内容图像。该合成图像是样式迁移过程中唯一需要更新的变量，即样式迁移所需迭代的模型参数。
然后，我们选择一个预训练的卷积神经网络来抽取图像的特征，其中的模型参数在训练中无须更新。深度卷积神经网络凭借多个层逐级抽取图像的特征。我们可以选择其中某些层的输出作为内容特征或样式特征。

样式迁移常用的损失函数由3部分组成：
内容损失（content loss）使合成图像与内容图像在内容特征上接近
样式损失（style loss）令合成图像与样式图像在样式特征上接近
总变差损失（total variation loss）则有助于减少合成图像中的噪点。
最后，当模型训练结束时，我们输出样式迁移的模型参数，即得到最终的合成图像。