斯坦福机器学习-week5 学习笔记(2)--神经网络小结

一.神经网络的结构选择

  

    从图上可以看出，神经网络的输入层和输出层已经由任务规定好了，我们能设计的结构只有隐藏层的神经元个数。

•     一般来说，隐藏层神经元的个数要可以与输入层相同，或者是输入层的3到4倍；
•     如果有两个以上的隐藏层的话，Andrew Ng认为，可以将隐藏层的神经元个数设置为相同的。
•     我个人的观点是，每一个隐藏层的数目比前一层多，这样，如果隐藏层的层数比较多的话，就可以形成一个深度神经网络了。

二.神经网络的训练过程

三.特征可视化

   对于神经网络来说，隐藏层中的每一个神经元a学习到的特征就是前一层输出与这个神经元a的连接权重，在前一层神经元中与神经元a的连接权重越大，表示了前一层神经元对于神经元a的激活值的共享越大，也就越能将这个值一层一层传递到输出层过去。

   因此，要想看到隐藏层学习到的特征，只需要将传递矩阵的每一行以合适的方式显示出来就可以了，在Andrew Ng的课中，他是用将图片按照每一行的形式展开成一个列向量作为输入的，因此，只需要将输入层与输出层之间的传递矩阵的每一行逆操作就可以看到隐藏层学习到的特征了。

   下面是Andrew Ng课后编程题中显示出来的隐藏层学习到特征。

  在图中，每一个小块表示隐藏层一个神经元学习到的特征。