深度学习课堂总结——2023，04，14

1 YOLO部分

1.1YOLO包围框及置信度

包围框

我们有个s^2框，每个框的 bb 个数为 𝐵，分类器可以识别出 𝐶种不同的物体，那么所有整个 ground truth 的长度为 𝑆×𝑆×(𝐵×5+𝐶)。

在YOLO v1中，这个数量为30

归一化

四个关于位置的值，分别是𝑥,𝑦,ℎ和 𝑤，均为整数，实际预测中收敛慢，因此，需要对数据进行归一化，在0~1之间。如图中的例子所示：例子是一个448*448 的图片，有 3*3 的 grid ，每个cell 是 149 。目标中心点是(220,190)。

 1.2YOLO置信度

 1.3YOLO损失函数

1.4训练与NMS

1.4.1 非极大值抑制 (NMS)

        NMS核心思想：选择得分最高的作为输出，与该输出重叠的去掉，不断重复这一过程直到
所有备选处理完。

        NMS算法要点：

        1. 首先丢弃概率小于预定IOU阈值（例如0.5）的所有边界框；对于剩余的边界框：

        2. 选择具有最高概率的边界框并将其作为输出预测；

        3. 计算 “作为输出预测的边界框”，与其他边界框的相关联IoU值；舍去IoU大于阈值的边界框；其实就是舍弃与“作为输出预测的边界框”很相近的框框。

        4. 重复步骤2，直到所有边界框都被视为输出预测或被舍弃

1.4.2 数据集训练
预训练与训练：

        ①YOLO先使用ImageNet数据集对前20层卷积网络进行预训练，然后使用完整的网络，在PASCAL VOC数据集上进行对象识别和定位的训练和预测；

        ②训练中采用了drop out和数据增强来防止过拟合；

        ③YOLO的最后一层采用线性激活函数(因为要回归bb位置)，其它层都是采用Leaky ReLU激活函数
得到的模型效果如下所示：

YOLOv1

YOLOv3：

 2语义分割与FCN

  2.1 语义分割问题

    语义分割：找到同一画面中的不同类型目标区域
    实例分割：同一类型目标要分出来具体实例（谁是谁）
    目标检测：标出来外包围矩形

 

 其算法发展如下所示：

 

 2.2语义分割基本思想

  首先，其目标是对图中每一个像素进行分类，得到对应标签

 

其基本思想是通过滑动窗口进行：

FCN网络如下所示：

网络结构分为两个部分：全卷积部分和反卷积部分。全卷积部分借用了一些经典的CNN网络，并把最后的全连接层换成卷积，用于提取特征，形成热点图；反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像。

 2.3反卷积和反池化

之前我们学习过1*1卷积：

这里使用了反卷积以及反池化如下所示：

2.4FCN具体实现

 FCN中第 6 、7 、8 层都是通过 1×1卷积得到的第 6 层的输出是 4096×7×7第 7 层的输出是 4096×7×7 第 8 层的输出是 1000×7×7 即 1000 个大小是7×7的特征图(称为 heatmap)。

注意到反卷积实际上是对于卷积得到的结果，先通过反池化放大，再通过一个卷积核，希望得到与原始图像大小相等的图像。

 

 最终得到的训练结果如下所示：

 2.5FCN评价指标与标注工具

 

 

 

 3 循环神经网络与NLP模型

3.1 数据处理基础及文本预处理和词嵌入

实际的语言和单词需要进行编码，

文本处理：

给定一个文本片段，将文本分为单词序列：

 

创建一个字典，进行词频统计。为了提高搜索速度，通常使用Hash表。初始字典为空 遍历文本，并按如下更新字典：
•如果单词不再字典中，加入该单词(𝑤,1)
•否则将其词频加 1

直到完成整个遍历。

按照词频降序排列。

 

将词频索引化，词汇如果太多，则保留排序在前的k个单词。 

将每一个词映射到索引号上，如果需要，采用独热编码(one hot)。

词典上没有的词(低频词或拼写错误，直接忽略，或编码为0)。

文本预处理部分：

 词嵌入：

 3.2 RNN模型

图像分类中使用：1 对 1 模型，输入和输出维度：固定。

文本处理中：输入维度不定（可能一直有单词输入）；输出维度不定或者是1 （直接最终理解结果)

输入：The cat sat on the mat

 随着输入的增加，会产生“遗忘”问题。也就是误差反传过程中，误差在逐渐减小，当环节变得多起来，误差会趋于0，对于之前的权重没有影响，不再改变。

 

可以使用LSTM进行改善，类似于ResNet。

 

他就像传送带：