神经网络|Representation：构建一个四合一的网络(附完整git资源）

导读：

这是一篇来自印度德里的大神Paras Chopra新鲜出炉的blog。除了知名博主这个众人皆知的身份之外，大神本人也是软件公司Wingify的Founder & CEO。这位印度大哥风趣幽默、极擅言辞；他的blog是小编我的最爱之一，各种技术解读和代码播放都非常值得大家空闲时间刷起来。Blog链接在此，不用感谢我哈：https://paraschopra.com/blog/。

众所周知，神经网络擅长处理我们普遍称之为”范围比较窄的任务“，而且最好为单项任务；相反它们在处理复杂的多任务项任务时，往往表现欠佳。 这与人类大脑的表现非常不同，人类大脑能够在惊人的多样化任务中使用相同的概念。

 

让我们用个简单的例子，来试试看！

比如你之前从未见过分形(fractal)，我现在就给你看一个分形。简单的解释一下，下面这个漂亮的图片就是分形，而所谓分形是一个几何术语，指具有以非整数维形式充填空间的形态特征。

请看下图：

Okay，现在你进看过这张图片了，假设你从来没有了解过什么是分形，在你看到这张图片后，你的脑子现在已经能够处理以下的多个任务了：

• 在一组图像中，分辨出哪张是猫的图片，哪张是分形的图片；

• 在一张纸上，绘制一个分形粗略的样子（它不是完美的，但它不是随机的涂鸦）；

• 把图片分类成为跟分形像的一类，和不像的一类（能够自动从最相似到最相似的图像排序）；

• 闭上眼睛，想象一下分形的样子（即使没有在看着图片，你甚至可以在一次曝光后就能够清晰的在脑子中想象它）。

 

你怎么能完成所有这些任务？ 大脑中是否有专门用于所有这些任务的专用神经网络？

 

现代神经科学认为，大脑中的信息是在不同部分共享和交流的，但究竟它是如何完成共享和交流的仍然是一个复杂的研究领域。但我们对大脑这种独特的“多任务性能”是如何发生有了一些初步的了解。 答案可能在于：如何在大脑神经网络中存储和解释数据。

 

Representations表达的重要性

顾名思义，representation(s)指的是信息是如何通过网络内编码进行表示的。 当一个单词或句子或图像（或其他任何东西）作为训练神经网络的输入时，它会被连续在不同层的神经网络中不断的传递变换，并伴随着权重乘以输入进行应用激活。 最后，在输出层，我们得到的数字可以解释为类标签，也可以是网络训练的任何其他任务。

从输入到输出的神奇转换是由于连续层中发生的输入转换而发生的。 输入数据的这些转换称为representation(s)。 一个关键的想法是每个层使下一层更容易完成它的工作。

 

这计划应该如何理解呢，让我们看一下图像分类器的不同层的激活示例：

图像分类网络的作用是将像素空间(pixel-space) 中的图像转换为越来越高级别的概念空间(concept space)。 因此，一个表示为RGB值的汽车图像将开始在第一层中的边缘空间(space of edges)中第一次进行representation，然后在第二层space of circles和pre-最终层basic shapes的空间中被表示，最终它将会在更高级物体层(high-level objects)中被represent，例如轮子，门等等。

 

由于深度网络的分层性质而自动出现这种日益丰富的表示，使得图像分类的任务变得微不足道，甚至可以说是小菜一碟。 最后一层所要做的就是权衡车轮和车门的概念，是个汽车汽车