Task 04

有些情形下的线性很荒谬， 而且我们难以通过简单的预处理来解决这个问题。 这是因为任何像素的重要性都以复杂的方式取决于该像素的上下文（周围像素的值）。 我们的数据可能会有一种表示，这种表示会考虑到我们在特征之间的相关交互作用。 在此表示的基础上建立一个线性模型可能会是合适的， 但我们不知道如何手动计算这么一种表示。 对于深度神经网络，我们使用观测数据来联合学习隐藏层表示和应用于该表示的线性预测器。
输入层不涉及任何计算，因此使用此网络产生输出只需要实现隐藏层和输出层的计算。这个多层感知机中的层数为所有层-输入层。多层感知机在输出层和输入层之间增加一个或多个全连接隐藏层，并通过激活函数转换隐藏层的输出。
sigmoid阈值单元在其输入低于某个阈值时取值0，当输入超过阈值时取值1。
sigmoid在隐藏层中已经较少使用， 它在大部分时候被更简单、更容易训练的ReLU所取代。当输入接近0时，sigmoid函数接近线性变换。
注意，当输入在0附近时，tanh函数接近线性变换。 函数的形状类似于sigmoid函数， 不同的是tanh函数关于坐标系原点中心对称。
将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合， 用于对抗过拟合的技术称为正则化。我们假设训练数据和测试数据都是从相同的分布中独立提取的，通常被称为独立同分布假设。
简单性，较小维度；
    平滑性