斯坦福机器学习-week4 学习笔记——初识神经网络

一.神经元模型

    对于单个神经元来说，其模型主要如下：

    

   对于上图的单个神经元来说，其输入z满足下面的式子：

                          

   对于图中的单个神经元的输出y满足下面的式子：

                        

其中， 称为激活函数(activation function)，可以选择Sigmoid函数 或者其他一些函数。

二.神经网络

    下图是一个典型的三层前向神经网络的结构。

   

    根据每一个神经元结构的数学模型，可以得到，上图的神经网络中，隐藏层的神经元的输出a和输出层的神经元h满足下面图中的关系。

   

  将上图隐藏层神经元的输出a与输入层x之间的关系进行矢量化，得到的结果如下图：

   

三.神经网络的特点

    Andrew Ng在视频中说到，神经网络可以学习自己需要的特征。

    对于二中的典型的神经网络来说，如果只看隐藏层和输出层，则隐藏层和输出层就形成了一个Logistic Regression Model，并且，隐藏层成为了Logistic Regression Model的输入。

    相对于原始的输入，隐藏层能够学习到神经网络分类所要求的特征(隐藏层实现对特征的自我学习，这个难道就是现在很火的deeplearning的雏形吗？)，使得后面的Logistic Regression能够获得更好的分类结果，也就说，神经网络通过隐藏层实现了对于特征的自主学习，在训练的过程中，自己学习到了对于分类有更好结果的特征。

四.对于多分类问题的处理

    对于多分类问题，可以采用Ove VS all的方法，即对于多分类(三个类别及以上)问题，输出神经元的个数与分类问题的类别个数相同，每一个输出神经元对应于一个两分类问题的输出，因此，对于每一个输入来说，只有一个输出神经元输出为1，其他的输出神经元均为0，因此，在进行训练的过程中，也必须将样本的label编码为与下图类似的形式。