何谓分布式特征表达？

摘录自张玉宏的额《深度学习之美》，这本书真的不错哦！

以前总觉得像分布式这样的词，听着就高深莫测，所以看到标题含有分布式词汇的，都会让我没有继续阅读的兴趣，但张玉宏的这本书真的是太棒了，深得我心，每一个知识点都娓娓道来，让人沉醉！

在多层前馈神经网络中，输入层神经元主要用于接收外加的输入信息，在隐含层和输出层中都有内置的激活函数，可对输入信号进行加工处理，最终的结果由输出层呈现出来。

这里需要说明的是，神经元中的激活函数，并不限于我们前面提到的阶跃函数（ sgn ）、Sigmoid 函数，还可以是现在深度学习中常用的ReLU ( Rectified Linear Unit，线性修正单元） 和交叉恼损失函数 “So位max回归” 等。

简单来说，神经网络的学习过程，就是通过训练数据调整神经元之间的连接权值以及每个 功能神经元的输出阔值。 换言之， 神经网络需要学习的东西，就蕴含在连接权值和阔值之中。

拟人化来说，对于识别某个对象来说，神经网络中的连接权值和阔值，就是它关于这个对象的“记忆”！我们知道，大脑对于事物和概念的记忆，不是存储在某个单一的地点，而是分布式地存在于一个巨大的神经元网络之中。

硅谷投资人王川先生认为，分布式表征（Distributed Representation ）是人工神经网络研究 的一个核心思想。 那什么是分布式表征呢？简单来说，就是当我们表达一个概念时，神经元和概念之间不是一对一对应映射（ map ）存储的，它们之间的关系是多对多的。 具体而言，就是 一个概念可以用多个神经元共同定义表达，同时一个神经元也可以参与多个不同概念的表达， 只不过所占的权重不同罢了。

举例来说，对于“小红汽车”这个概念，如果用分布式特征来表达， 那么可能是一个神经元代表大小（形状：小）， 一个神经元代表颜色（颜色 ： 红），还有一个神经元代表车的类别（类别：汽车）。 只有当这三个神经元同时被激活时，才可以比较准确地描述我们要表达的物体。

分布式表征表示有很多优点。 其中最重要的一点莫过于当部分神经元发生故障时， 信息的表达不会出现覆灭性的破坏。 比如，我们常在影视作品中看到这样的场景，仇人相见分外眼红，一人（ A ）发狠地说，“你化成灰，我都认识你（ B ）！ ”这里并不是说 B 真的“化成灰” 了， 而是说，虽然时过境迁，物是人非，当事人B的外表也变了很多（对于识别人A来说， B在其大 脑中的信息存储是残缺的），但没有关系，只要B的部分核心特征还在，那A还是能够把B认得清清楚楚、真真切切的！

事实上，利用神经网络的分布式特征表达，还可以用来阻止过拟合的发生。 2012 年，辛顿 教授发表了一篇高引用论文【Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012】，其中提到了一种在深度学习中广为使用的技巧： 丢弃学习 ( Dropout Learning ）。 算法的核心思想和前文讲解的理念有异曲同工之妙。