8.3 注意力卷积核
在挤压穿插的车水马龙中、在故意碰瓷的行驶环境下,开车的朋友都会在车前装一个行车记录仪。 一个小小的行车记录仪,时时记录数小时的视频并不容易。因为视频信号的信息量非常巨大,完整视频流意味着海量的存储。
如何压缩存储是视频记录的关键,这一技术的突破在于“差别保存”。 原理大至为,先把连续的视频图像分成离散的帧,比如一秒钟24帧图片(电影胶卷就是这样)。然后对帧进行分类,分别为Integrated帧和imPortant帧,I帧画面是完整保留的;P帧只保留这一帧跟之前的一个关键帧的差别,解码时需要用之前的画面叠加上本帧(差别值),合成出完整画面。 换句话说,因为只记录差别值,大量的数字视频信号帧图片并不是完整的图片,这使得的存储的字节大大减少。另一方面,尽管是不完整的帧图片集合,却形成了完整的视频流、完整的故事逻辑轨迹(我们看DVD时并不会感到有逻辑脱节)。
不完整的信息,形成完整的逻辑。这本身就是人类思维的重要特征。因为大千世界信息量无穷无尽,我们的精力却是有限的,所以有限的精力只能选择性采集信息,再通过采集的有限样本,然后“换算”出整体的概念。
那么人类是如何选择信息的呢?这种主观选择性就是“注意力”
有眼睛的生物,视觉关注的总是运动的东东(飞过的小虫、跑动的羚羊、跳跃的青蛙),或者关注颜色、阴影、轮廓反差大的事物。
显---而易见
**
在感知阀值以内,变化率越高越容易吸引注意力。
**(就像DVD差别存贮原理一样,差别越大越关注、变化越大记录越多。)
扑捉变化、关注变化、分析变化,准确判断变化率不仅仅是技术上的要点,还是宇宙的基本原理之一。对生物而言,这是所有生物生存之道的第一课。不能感知变化就不能预知威胁,会死无葬身之地;不能感知变化就抓不住猎物,将面临饿死的厄运。
深度学习的CNN(卷积神经网络)图像识别的关键也在于突出像素灰度“变化率”。
象素变化率最大的地方是图形边缘,所以对图形边缘特点的识别,是图像识别的关键。那么卷积神经网络是如何检测图像边缘的呢?
以灰度图像为例,设函数f=kx(x是像素点的位置,f是像素点的黑白程度)