深度学习：神经网络

一 感知机

感知机的结构如下图所示：



添加激活函数后，感知机可以用来完成二分类任务。阶跃函数和符号函数由于不连续导致了导数为0，因此无法利用梯度下降算法来参数优化，与此同时，以感知机为代表的线性模型不能解决异或(XOR)等线性不可分问题，所以在应用上受到很大的限制。

二 全连接层

下图的网络结构可看出，每个输出节点都和全部的输入节点相连接，那么这种网络层就叫做全连接层。

三 神经网络

这种由神经元相互连接而成的网络叫做神经网络。下图通过堆叠4个全连接层，可以获得层数为 4 的神经网络。由于每层都是全连接层，所以又叫全连接网络。在设计全连接网络时，网络的结构配置等超参数可以按着经验法则自由设置，只需要遵循少量的约束即可。 例如， 隐藏层 1 的输入节点数需和数据的实际特征长度匹配，隐藏层3的输出层激活函数和节点数需要根据任务的具体设定进行设计。神经网络模型的结构设计自由度较大，可以通过 AutoML 技术搜索出较优的网络结构。

四 优化目标

神经网络从输入到输出的计算过程叫做前向传播(Forward Propagation)或前向计算，前向传播的最后一步就是完成误差的计算，误差