2022.11.05 第六次周报

最新推荐文章于 2024-08-14 11:19:01 发布

杨幂臭脚丫子

最新推荐文章于 2024-08-14 11:19:01 发布

阅读量741

点赞数

文章标签：深度学习人工智能神经网络

本文链接：https://blog.csdn.net/weixin_57523712/article/details/127705083

版权

文章目录

前言
一、文献阅读
二、AlexNet模型
- 模型结构
- 与LetNet-5模型差异
总结

前言

本周学习了《Gradient-Based Learning Applied to Document Recognition》这篇论文，虽然是1998年发布的，但是却是卷积神经网络的前身之作，最经典的卷积神经网络，所以认真研读了一番。
并且学习了AlexNet模型。

一、文献阅读

《Gradient-Based Learning Applied to Document Recognition》于1998年发布，前面介绍了几种手写字符识别的学习技术的性能并且进行了比较；在不需要人工分割和标记的情况下，训练单词级别识别器的基于梯度的辨别和非辨别技术；空间位移神经网络方法。但本论文的核心在于介绍了一个用来读取空白支票的图变换网络系统。通过使用基于全局训练技术的卷积神经网络字符识别算法，可提供商业和个人支票的精确记录。还从中介绍了两个针对在线手写体识别的系统。实验证实了全局训练的优势，以及图变换网络的灵活性。然后系统的分析了卷积神经网络LeNet-5的体系结构。

背景：

普通神经网络存储大量权重的内存需求可能会排除某些硬件实现。但是，用于图像或语音应用的非结构化网络的主要缺陷是，它们对输入的翻译或局部失真没有内置的不变性。

笔记的预处理不可能是完美的:笔迹通常是在单词级别规范化的，这可能导致单个字符的大小、倾斜和位置变化。再加上写作风格的变化，这将导致输入对象中不同特征的位置发生变化。原则上，一个足够大的完全连接的网络可以学会产生对这种变化不变的输出。然而，学习这样的任务可能会导致多个具有相似权重模式的单元位于输入的不同位置，以便检测不同的特征，无论它们出现在输入的任何地方。学习这些权重配置需要大量的训练实例来覆盖可能的变化空间。在卷积网络中，如下所述，通过强制跨空间复制权值配置自动获得移不变性。

其次，完全连接体系结构的一个缺陷是完全忽略了输入的拓扑结构。输入变量可以以任何(固定的)顺序呈现，而不会影响训练的结果。相反，图像(或语音的时频表示)具有很强的二维局部结构:在空间或时间上接近的变量(或像素)是高度相关的。局部相关性是在识别空间或时间对象之前提取和组合局部特征具有众所周知的优势的原因，因为相邻变量的配置可以被划分为少数类别(例如，边、角等)。卷积网络通过限制隐藏单元的接受域为局部的来强制提取局部特征。

下面分享的是个人认为重要部分

1.1 第二节 CONVOLUTIONAL NEURAL NETWORKS FOR ISOLA TED CHARACTER RECOGNITION 单对象识别

卷积网络，它被设计用来学习直接从像素图像中提取相关特征。
LetNet-5是一个较简单的卷积神经网络。上图显示了其结构：输入的二维图像（单通道），先经过两次卷积层到池化层，再经过全连接层，最后为输出层。
在这里插入图片描述

这与之前学习的卷积神经网络没有太多不同，所以这里没学到太多东西。

1.2 第五节 MULTIPLE OBJECT RECOGNITION: HOS 多对象识别

在第五节中描述，包括在整个字符串级别而不是字符级别训练系统。基于梯度的学习的概念可以用于此目的。介绍了使用弧携带数值信息的有向无环图来表示备选假设的方法，以及GTN的结构设计思想。
首先介绍了一个Segmentation Graph分割图的概念，因为下面的多对象识别用到了这里的知识。
其次是Recognition Transformer and Viterbi Transformer识别变压器和维特比变压器。一个简单的识别字符串的GTN。它由两个称为识别变压器和维特比变压器的GT组成，识别变压器的目标是生成一个图，称为解释图或识别图，它包含输入的所有可能的分段的所有可能的解释。识别图包含许多的路径，每条路径表示输入的一个特定分段的一种可能解释。维特比变压器的作用是从解译图中提取最佳解译。
提取最佳解译的方法是：识别转换器将分割图作为输入，并将单个字符识别器应用于分割图中与每个弧相关联的图像。解译图的结构与分割图几乎相同，只是每个圆弧都被一组从同一节点到同一节点的圆弧所取代。在这组弧线中，对于与对应弧线相关联的图像，每个可能的类都有一个弧线。每个弧线上都附加了一个类标签，并且由识别器产生图像属于这个类的惩罚。如果分割器已经为候选段计算了惩罚，这些惩罚将与字符识别器计算的惩罚相结合，以获得判读图弧线上的惩罚。然后维特比变压器在众多路径中产生一个单路径图。该路径就是是判读图中累积惩罚最小的路径，也就是最佳翻译。

1.3 第七节 MULTIPLE OBJECT RECOGNITION: SPACE DISPLACEMENT NEURAL NETWORK 多目标识别:空间位移神经网络

完全消除分割。其思想是将识别器扫描到输入图像上的每一个可能的位置，并依赖识别器的“字符识别”属性，即，它能够正确识别输入字段中中心位置良好的字符，即使在它之外存在其他字符，同时拒绝不包含中心字符的图像。通过将识别器扫过输入获得识别器输出序列，然后将其输入到考虑语言约束的GTN中，最后提取出最可能的解释。
Interpreting the Output of an SDNN with a GTN（用GTN解释SDNN的输出）：SDNN的输出是一个向量序列，它编码了在输入中的相应位置找到特定类标签的字符的可能性、惩罚值或分数。需要一个后处理器从这个向量序列中提取出最好的标签序列。其中由SDNN产生的向量序列首先被编码成一个线性图，在连续的节点对之间有多个弧。在一个特定的节点对之间的每条弧都包含一个可能的类别的标签，以及SDNN在该位置对该类别标签产生的惩罚。然后变压器对类标签的输入字符串和相应的可识别字符的输出字符串之间的关系进行编码。当换能器观察到的输入符号与附加到弧线上的符号对中的第一个符号匹配时，换能器处于一种状态，并沿着弧线进入一个新的状态。此时，换能器发出对中的第二个符号以及将输入符号的惩罚和弧的惩罚结合起来的惩罚。该操作取与识别图中的每个可能路径对应的每个可能序列，并将它们与语法转换器中的路径进行匹配。该组合生成解释图，其中包含每个对应输出标签序列的路径。
识别过程：
在这里插入图片描述

论文总结

论文的第二节和之前学习的卷积神经网络差比不大，只是对层数进行了调整；第五节对图像的多信息（字符串级别）进行了分析和处理，采用的是切割的方法，以及提出了GTN的结构设计思想。并且在第六节进行了实验，但由于目前还用不上，所以只学习了模型的设计，并没有进行试验；第七节殡去了切割的方法，采取了整体统一处理的方法，对图片进行整体扫描，然后分析相应位置找到特定类标签的字符的可能性，最后获得结果。同样只是学习了模型的本身，并没有进行实验，在论文的第八节有实验部分，以后用到的时候会深入学习。

来源：Y. Lecun, L. Bottou, Y. Bengio and P. Haffner, “Gradient-based learning applied to document recognition,” in Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998, doi: 10.1109/5.726791.