神经网络第三次

深度学习与视觉应用

算法评估

算法评估相关概念

TP：被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数

FP：被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数

FN：被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数

TN：被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数

混淆矩阵：

 

P（精确率）：TP／（TP＋FP），标识“挑剔”的程度

R（召回率）：TP／（TP＋FN）。召回率越高，准确度越低标识“通过”的程度

精度（Accuracy）：（TP＋TN）／（TP＋FP＋TN＋FN）

精确率越高召回率越低

置信度与准确率

调整阈值可改变准确率或召回值；不同阈值条件下，Precision与Recall的变化情况 
 

AP计算

mAP:均值平均准确率

其中N代表测试集中所有图片的个数，P(k)表示在能识别出k个图片的时候Precision的值，而△r(k)则表示识别图片个数从k一1变化到k时（通过调整 值）Recall值的变化情况。   

AP计算I：实际图像分类任务（多类） 首先使用训练好的模型获得所有测试样本的confidence score，每个类别（如person，car）都会获得一组confidence score。

AP计算II： 实际图像分类任务（多类） 按照上图中的score值从大到小对所有样本进行排序

AP计算III: 实际图像分类任务  

目标检测与YOLO

目标检测问题

目标检测是在给定的图片中精确找到物体所在位置，并标注出物体的类别。  物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图  片的任何地方，并且物体还可以是多个类别。   

 

 数据输出集表达

基本的滑动窗口

滑动太多次，计算太慢

目标大小不同，每个滑动位置需要用很多框 

简化二分类问题，只检测葫芦娃的脸

分类问题扩展成回归＋分类问题 

语义分割

为什么要语义分割？

语义分割：找到同一画面中的不同类型目标区域  

实例分割：同一类型自标要分出来具体实例（谁是谁） 目标检测：标出来外包围矩形    

 

语义分割的目标

对图中每一个像素进行分类，得到对应标签  

基本思想：滑动窗口

滑动次数太多，计算太慢，重复计算太多

 风格迁移

如果你是一位摄影爱好者，也许接触过滤镜。它能改变照片的颜色样式，从而使风景照更加锐利或者令人像更加美白。但一个滤镜通常只能改变照片的 某个方面。如果要照片达到理想中的样式，经常需要尝试大量不同的组合， 其复杂程度不亚于模型调参。

这里我们需要两张输入图像，一张是内容图像，另一张是样式图像，我们将使用神经网络修改内容图像使其在样式上接近样式图像。   

  

方法

首先，我们初始化合成图像，例如将其初始化成内容图像。该合成图像是样式迁移过程中唯一需要更新的变量，即样式迁移所需迭代的模 型参数。  

然后，我们选择一个预训练的卷积神经网络来抽取图像的特征，其中 的模型参数在训练中无须更新。深度卷积神经网络凭借多个层逐级抽 取图像的特征。我们可以选择其中某些层的输出作为内容特征或样式 特征。   

 

样式迁移常用的损失函数由3部分组成：

内容损失（contentloss）使合成图像与内容图像在内容特征上接近

样式损失（style loss）令合成图像与样式图像在样式特征上接近  
总变差损失（total variation loss）则有助于减少合成图像中的噪点。
最后，当模型训练结束时，我们输出样式迁移的模型参数，即得到最终 的合成图像。  W       

内容代价函数 

声明：以上来自屈桢深老师课件