神经网络（Neural Networks）

1.简介

一般的回归和分类方式是基于线性模型，也就是固定的非线性的基函数（basis function）的线性组合，形式如下：

其中，如果f（.）是非线性的激活函数（activation function），这就是一个分类模型；如果f（.）是恒等函数（identity），则是回归模型。

根据自己的认识，我认为神经网络就是多层这样的模型的叠加，并引入非线性的activation function，提高模型的整体能力（因为每一个隐藏层可以对上一层的输出进行非线性变换，因此深度神经网络拥有比“浅层”网络拥有更加优异的表达能力）。神经网络的计算量相比于其他的回归和分类模型比较大，在早期并没有受到研究者的重视，随机近几年计算机设备的性能提升从而受到广泛的关注，也诞生了新的领域Deep learning。

上图是简单的三层神经网络，其中，相邻层之间是全联通的（即下一层的输入是上一层所有结点的线性组合），当然也有不是全联通的网络，典型代表是卷积神经网络（CNN），CNN在计算机视觉领域取得比较的成果，由于图像的维度比较高，如果采用全联通结构会导致模型会有非常多的参数，使得模型变得非常复杂。另外，一般情况下hidden layer 的结点数目会比input layer和output layer的结点多（稀疏自动编码，是一种hidden layer的结点数比其他的小，而input layer 和 output layer的结点数相同）。

此外，神经网络也可以分为监督神经网络和非监督神经网络，我们比较熟悉的是监督神经网络，该模型可以处理分类，回归问题；非监督神经网络最典型的的就是稀疏自编码器（Sparse Autoencoder）。

神经网络主要有三部分构成：正反馈（Feedforward），代价函数ÿ