关于深度学习人工智能模型的探讨（八）（1）

第八章 深度学习模型

8.1 深度学习AI

2012年6月，《纽约时报》披露了Google X实验室的“谷歌大脑”项目，研究人员随机提取了1000万个静态图像，将其输入谷歌大脑——由1.6万台电脑的处理器构成的多达10亿个连接的网络系统。这台人工神经网络，像一个蹒跚学步的孩子一样吸收信息，自主使用数据和计算资源，尽管在输入中没有包含任何像猫的名字、猫的标题、猫的类别等解释性信息，但这个机器通过3天无监督式学习模式后，自学成材完全凭自身判断准确识别了猫。

项目负责人之一Andrew称：“我们没有像通常做的那样自己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。”另外一名负责人Jeff则说：

“我们在训练的时候从来不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领悟了‘猫’的概念。”

谷歌大脑是人工智能的一个里程碑，其背后支撑的关键技术叫做‘深度学习’（Deep learning）。深度学习的灵感大多来自于大脑中紧密连接的神经元，通过改变模拟神经连接的强度来模拟人脑学习。

深度学习技术的关键点在于对特征属性进行多层次分类，然后复合各层次特征基。

以图像识别为例，不同层级的图像粒度，会体现不同的特征结构(feature)。图像粒度过小，比如一个像素点，看不出什么结构；而选取的基图像过大，又因为其结构过于复杂不适于作为特征基。【我们前面探讨过的有关亚马逊生态额例子，也面临同样的特征基选择的困难。如果特征基的粒度过小，比如选择氮磷钾元素作为生态系统的参照系坐标特征基（生物都是氮磷钾原子构成），分析会因为难以度量而变成泛泛之谈；如果特征基的粒度过大，比如选择熊群、树群整体作为特征基坐标轴，则熊和树将体现独立性，无法分解到共同特征函数，也就无法度量熊和树的子要素的相关性。】

所以，选择合适层级的特征粒度是第一步。那么什么是“合适层级的特征粒度”呢？如何选取“合适层级”呢？ 这其实是非常困难的，但是‘深度学习’另辟蹊径，它不单选取某一层级特征，而是同时复合多个层级的特征属性。

首先，是找到相对底层特征结构；

然后，把下层特征基组合构造成上一层的特征基，依此扩充到多层级的特征构件，逐层初始化；

最后，把各个层次的特征基融为一体（特征属性复合乘积）。

1995年，Bruno Olshausen和 David Field 两位学者同时用生理学和计算机的手段，双管齐下，研究视觉问题。他们收集了很多黑白风景照片，从这些照片中，提取出400个小碎片，每个照片碎片的尺寸均为 16x16 像素，不妨把这400个碎片标记为 S[i], i = 0,… 399。接下来，再从这些黑白风景照片中，随机提取另一个碎片，尺寸也是 16x16 像素，不妨把这个碎片标记为 T。他们提出的问题是，如何从这400个碎片中，选取一组碎片，S[k],作为基础。再通过叠加的办法，合成出一个新的碎片。而这个新的合成碎片，应当与随机选择的目标碎片 T，尽可能相似，同时，作为特征基的S[k] 的数量尽可能少。用数学的语言来描述，就是：

Sum_k (a[k] * S[k]) --> T, 其中 a[k] 是在叠加特征基碎片 S[k] 时的权重系数。

为解决这个问题，Bruno Olshausen和 David Field 发明了一个算法，稀疏编码（Sparse Coding）。稀疏编码是一个重复迭代的过程，每次迭代分两步：

1）选择一组基 S[k]，然后调整 a[k]，使得Sum_k (a[k] * S[k]) 最接近 T。

2）固定住 a[k]，在 400 个碎片中，选择其它更合适的碎片基S’[k]，替代原先的基 S[k]，使得Sum_k (a[k] * S’[k]) 最接近 T。

经过几次迭代后，最佳的特征基 S[k] 组合，被遴选出来了。