本文介绍了注意力卷积核在深度学习中的应用，通过举例行车记录仪的数据压缩技术阐述了“差别保存”原理。文章深入探讨了图像识别中的边缘检测，如Sobel和Laplacian算子，以及它们在卷积神经网络中的作用，强调了“变化率”在感知和认知中的重要性。此外，还讨论了生物的注意力机制如何影响信息处理，并将其与卷积神经网络的特征提取过程相联系。
8.3 注意力卷积核
在挤压穿插的车水马龙中、在故意碰瓷的行驶环境下，开车的朋友都会在车前装一个行车记录仪。 一个小小的行车记录仪，时时记录数小时的视频并不容易。因为视频信号的信息量非常巨大，完整视频流意味着海量的存储。
如何压缩存储是视频记录的关键，这一技术的突破在于“差别保存”。 原理大至为，先把连续的视频图像分成离散的帧，比如一秒钟24帧图片（电影胶卷就是这样）。然后对帧进行分类，分别为Integrated帧和imPortant帧，I帧画面是完整保留的；P帧只保留这一帧跟之前的一个关键帧的差别，解码时需要用之前的画面叠加上本帧（差别值），合成出完整画面。 换句话说，因为只记录差别值，大量的数字视频信号帧图片并不是完整的图片，这使得的存储的字节大大减少。另一方面，尽管是不完整的帧图片集合，却形成了完整的视频流、完整的故事逻辑轨迹（我们看DVD时并不会感到有逻辑脱节）。
不完整的信息，形成完整的逻辑。这本身就是人类思维的重要特征。因为大千世界信息量无穷无尽，我们的精力却是有限的，所以有限的精力只能选择性采集信息，再通过采集的有限样本，然后“换算”出整体的概念。
那么人类是如何选择信息的呢？这种主观选择性就是“注意力”
有眼睛的生物，视觉关注的总是运动的东东（飞过的小虫、跑动的羚羊、跳跃的青蛙），或者关注颜色、阴影、轮廓反差大的事物。
显－－－而易见
**
在感知阀值以内，变化率越高越容易吸引注意力。
**（就像DVD差别存贮原理一样，差别越大越关注、变化越大记录越多。）
扑捉变化、关注变化、分析变化，准确判断变化率不仅仅是技术上的要点，还是宇宙的基本原理之一。对生物而言，这是所有生物生存之道的第一课。不能感知变化就不能预知威胁，会死无葬身之地；不能感知变化就抓不住猎物，将面临饿死的厄运。
深度学习的CNN（卷积神经网络）图像识别的关键也在于突出像素灰度“变化率”。
象素变化率最大的地方是图形边缘，所以对图形边缘特点的识别，是图像识别的关键。那么卷积神经网络是如何检测图像边缘的呢？
以灰度图像为例，设函数f=kx（x是像素点的位置，f是像素点的黑白程度）
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
