基于深度学习的烟草工业人员行为分析管控研究（二）

2.3深度学习技术
2.3.1 深度学习技术理论基础
2.3.1.1深度学习框架

1. 生成式深度架构（Generative deep architectures），主要是用来描述具有高阶相关性的可观测数据或者是可见的对象的特征，主要用于模式分析或者是总和的目的，或者是描述这些数据与他们的类别之间的联合分布。（其实就是类似与生成模型）
2. 判别式深度架构（Discriminative deep architectures），主要用于提供模式分类的判别能力，经常用来描述在可见数据条件下物体的后验类别的概率。（类似于判别模型）
3. 混合深度架构（Hybrid deep architectures），目标是分类，但是和生成结构混合在一起了。比如以正在或者优化的方式引入生成模型的结果，或者使用判别标注来学习生成模型的参数。
   2.3.1.2特征提取
   在深度学习中，下层携带的信息量会大于上层的信息量。最下层被认为是基。譬如高维空间中，总有一组完备基。任何一个向量都可以通过完备基线性表示。这是，经过多层表示，后面的各个向量组成的矩阵的秩小于等于其下一层个向量组成矩阵的秩当然，我们这里一开始引入时，也认为任何一幅图可以表示为400张图的线性组合。
   但实际深度学习中的层还有一些激活函数，它们是非线性的。如果是这样，紫色部分应改为“任何一层S和第一层的互信息小于等于S下一层与第一层的信息”。注意，这里一定都是和第一层的互信息。因为由于每层除了削减的一些信息外，还可能额外增加了一些其他信息，这部分额外的信息可能会传递给下一层。这样导致，如果只用任何相邻的互信息来比较，就会出现很大的问题。
   2.3.2 深度学习技术研究现状
   深度学习是人工神经网络的一个分支，具有深度网络结构的人工神经网络是深度学习最早的网络模型。1943年，美国数学家沃尔特·皮茨（W.Pitts）和心理学家沃伦·麦克洛克（W.McCulloch）首次提出了人工神经网络这一概念，并使用数学模型对人工神经网络中的神经元进行了理论建模，开启了人们对人工神经网络的研究[22]。1957年，著名人工智能专家弗兰克·罗森布莱特（F.Rosenblatt）提出了感知器（Perceptron）人工神经网络模型，并提出采用Hebb学习规则或最小二乘法来训练感知器的参数，感知器是最早且结构最简单的人工神经网络模型，开辟了人工神经网络的计算机向硬件化发展方向[23]。感知器是一种前向人工神经网络，采用阈值型激活函数，只含一层神经元。通过训练网络权值，对于一组输入响应，感知器可以得到1或0的目标输出，从而实现分类输入响应的目标。但感知器的分类能力非常有限，只能够处理简单的二元线性分类，受限于其只具有一层神经网络，它不能处理线性不可分问题，比如异或问题[24]。
   深度学习自2006年产生之后就受到科研机构、工业界的高度关注。最初，深度学习的应用主要是在图像和语音领域。从2011年开始，谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别，使识别错误率下降了20%-30%[25,28]。2012年，杰弗里·辛顿的学生IIya Sutskever和Alex Krizhevsky在图片分类比赛ImageNet中，使用深度学习打败了Google团队，深度学习的应用，使得图片识别错误率下降了14%。2012年6月，谷歌首席架构师Jeff Dean和斯坦福大学教授AndrewNg主导著名的GoogleBrain项目，采用16万个CPU来构建一个深层神经网络，并将其应用于图像和语音的识别，最终大获成功。此外，深度学习在搜索领域也获得广泛关注。如今，深度学习已经在图像、语音、自然语言处理、CTR预估、大数据特征提取等方面获得广泛的应用[29,30]。
   深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等[31]。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或行为姿态识别），人员行为姿态识别OpenPost技术，可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的泛化性，同时人体姿态估计技术在体育健身、动作采集、3D试衣等领域具有广阔的应用前景[32]。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征[33]。用于视频处理的CNN研究考虑了在原始序列数据上学习3D时空滤波器[34]，帧到帧的表示学习包含了瞬时光流或者在固定窗、视频镜头段上聚合的机遇轨迹的模型。这种模型探索了两个感知时序表示学习的极值：要么学习完全通用的时变权重，要么应用简单的时间池。跟随这一推动了目前深度卷积模型发展的灵感[35]，我们提出了视频识别和描述模型，既在时间维度上做到深度，也有潜在变量的时间递归。RNN模型在“时间上很深”——准确说当他们展开时——形成了隐式的组合描述[36]。在时域上，这种深模型先于现有文献中的空域卷积模型。
   RNN在感知应用上已经有数十年的研究，也有很多不同结论[37]。简单RNN模型一个明显限制是其在时间上严格整合状态信息，也就是“梯度消失”效应：在实践中，通过一个长时间间隔去反向传播误差信号的能力变得逐渐困难[38]。一个递归模块，能实现长时学习，LSTM单元有隐状态增强和非线性机制，通过利用一个简单的学习过的门限函数，可以不修改、不更新、不复位地对状态进行传播，以解决RNN存在长期依赖等问题[39,40]。
   2.4本章小结

3.1烟草工业产品质量缺陷率高的原因分析
3.1.1 烟草工业产品质量缺陷率现状统计
对于生产企业而言，产品质量重于泰山。自2014年来，云南烟草市场投诉数量未有明显下降趋势，且云南中烟各工厂内部每月抽查都存在产品缺陷等问题（未流入市场），根据统计，2020年4–12月曲靖卷烟厂产品质量缺陷率基本占据生产总量的1/1000，意味着每生产1000包烟就有可能有1包存在质量问题的烟包产生，产品质量缺陷率占比居高不下，如何提升产品质量一直以来都是困扰烟草工业的痛点、难点问题。
本文针对曲靖卷烟厂目前主流的包装机型设备进行质量分析。曲靖卷烟厂目前现有GDX.1–ZJ17、GDX.2–ZJ118设备34台，占总设备数量的85%，而GDX.1–ZJ17及GDX.2–ZJ118设备大多为10–20年前进厂的生产设备，老旧设备故障发生率较高，每次发生故障时就存在出现缺陷产品的产出，因此对于产品的质量检查工作就显得尤为重要，操作人员能否认真、按时、按量完成产品自检自查工作，就成为了影响产品质量的关键因素。
3.