神经网络与深度学习-屈桢深-学习总结（第六周）

1 评价指标

1.1 算法评估相关概念

TP: 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数

FP: 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数

FN:被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数

TN: 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数

混淆矩阵：

P(精确率）： 𝑇𝑃/(𝑇𝑃 + 𝐹𝑃)，标识“挑剔”的程度

R(召回率）： 𝑇𝑃/(𝑇𝑃 + 𝐹𝑁)。召回率越高，准确度越低 标识“通过”的程度

精度(Accuracy)： (𝑇𝑃 + 𝑇𝑁)/(𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁)

P-R曲线表示了召回率和准确率之间的关系，精度(准确率)越高,召回率越低

AP计算

➢ mAP：均值平均准确率

其中𝑁代表测试集中所有图片的个数，𝑃(𝑘)表示在能识别出𝑘个图片的时候 Precision的值，而 Δ𝑟(𝑘)则表示识别图片个数从𝑘 − 1变化到𝑘时（通过调整阈 值）Recall值的变化情况。

mAP计算

➢ 每一个类别均可确定对应的AP

➢ 多类的检测中，取每个类AP的平均值，即为mAP

2 目标检测

2.1 目标检测问题

目标检测是在给定的图片中精确找到物体所在位置，并标注出物体的类别。 物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，并且物体还可以是多个类别。

目标检测问题发展

➢ R-CNN

➢ SPP NET

➢ Fast R-CNN

➢ Faster R-CNN

➢ 最终实现YOLO

2.2 YOLO

YOLO网络结构

网络结构包含24个卷积层和2个全连接层；其中前20个卷积层用来做预训 练，后面4个是随机初始化的卷积层，和2个全连接层。

YOLO网络输入

➢ YOLO v1在PASCAL VOC数据集上进行的训练，因此输入图片为 448 × 448 × 3。实际中如为其它尺寸，需要resize或切割成 要求尺寸。

YOLO模型处理：𝟕 × 𝟕网格划分

➢ 将图片分割为 𝑆 2个grid(𝑆 = 7)，每 个grid cell的大小都是相等的

➢ 每个格子都可以检测是否包含目标

➢ YOLO v1中，每个格子只能检测一种 物体（但可以不同大小）。

YOLO网络输出

➢ 输出是一个7 × 7 × 30的张量。对应 7 × 7个cell

➢ 每个cell对应2个包围框(bounding box, bb)，预测不同大小和宽高比， 对应检测不同目标。每个bb有5个分量， 分别是物体的中心位置(𝑥, 𝑦)和它的高 (ℎ) 和宽 (𝑤) ，以及这次预测的置信度。 在下图中，每个框代表1个预测的bb，粗细代表不同的置信度，越粗得越高。

3 语义分割

3.1 语义分割问题

语义分割：找到同一画面中的不同类型目标区域

语义分割问题：和其他问题的区别

实例分割：同一类型目标要分出来具体实例（谁是谁）

目标检测：标出来外包围矩形

3.2 基本思想

对图中每一个像素进行分类，得到对应标签

FCN网络结构

网络结构分为两个部分：全卷积部分和反卷积部分。全卷积部分借用了一些 经典的CNN网络，并把最后的全连接层换成卷积，用于提取特征，形成热点 图；反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像。

3.3 反卷积与反池化

转置卷积

上池化

4 风格迁移

风格迁移是一种深度学习技术，它能让一张图片的内容不发生改变，但样式改为另一张图片的效果。这种技术基于神经网络和深度学习算法，通常采用的是卷积神经网络（CNN）。通过层层堆叠的卷积和池化操作，神经网络能够提取图像的特征信息，并学习并理解图像的风格和内容。
在风格迁移技术中，图像的风格和内容分别由神经网络中的不同层次表示。风格表示捕捉了图像中的纹理、色彩等特征，而内容表示则关注于图像的物体形状和结构。通过对两种表示的提取和比较，可以将一个图像的风格应用到另一个图像的内容上。常见的损失函数包括风格损失和内容损失，它们基于风格表示和内容表示之间的距离计算。通过最小化损失函数，可以调整生成图像的像素值，逐渐接近目标图像的风格和内容，从而实现风格迁移的效果。
风格迁移技术为艺术家提供了一种新的创作思路和灵感来源，通过将不同风格的图像进行迁移和组合，获得全新的艺术效果和创意。此外，这项技术还为文化交流和跨界合作提供了契机，通过将不同国家、地区或时期的艺术风格进行迁移和融合，创造出独特的、具有文化多样性的艺术作品。在广告、设计和媒体等领域，风格迁移技术也可以应用于视觉增强和品牌塑造，通过将公司或产品的标志性风格应用到图像中，营造出独特的视觉效果，增强品牌识别度和吸引力。