为什么神经网络的结构如此重要？

概述

在深度学习领域，我们会经常看到某个模型刷榜的新闻。某个神经网络算法任务的重大突破，第一靠数据集，第二靠模型结构。

图像领域的突破，ImageNet数据集功不可没，这就是数据集的重要性，因为它记录了目标函数的信息。 但是我们从上一节中得知，数据集是有缺陷的，它不能完整地记录目标函数的信息，会遗失一部分。数据集的好坏就在于它对于目标函数信息保存率的高低。

训练阶段的任务就是要利用数据集中的信息(数据集函数$d(\mathbf{x})$)，还原出目标函数$o<$