周志华 《机器学习》之 第五章（神经网络）概念总结

记得在读研期间认真学习过神经网络这门课程，当时老师讲得也挺细的，自己当时觉得理论也学得还不错，在结课的时候记得用BP神经网络C++实现过一个简单的验证码识别程序，所以对BP神经网络理解还是有一定记忆的，今天看完周老师的这本机器学习书中讲解的神经网络，又对之前的学习做了一个回顾。虽然没有哪门专门的课程哪门细致，但是也足够让我了解到神经网络应用到机器学习中的意义。特别是在最后小节中讲述了深度学习，目前深度学习基本是人工智能领域最火的话题。因此我也专门卖了一本邓力的那本《深度学习》书籍，想深入的进行了解。
话不多讲，还是对周老师讲解的神经网络章节做个概念想的总结吧！
在本章中，周老师先从神经网络中的基本单元，神经元模型将其，引入感知机和多层网络的概念。在分别介绍目前最流行的神经网络算法。接下来引入全局最小与局部最小的概要。
1、神经网络：神经网络是由具有适应性的简单单元组成的广泛互连的网络，他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。那么在机器学习中所讨论的神经网络主要指的是神经网络学习。
2、神经元模型：神经网络中简单单元就可以称为神经元。
3、感知机和多层网络：感知机就是指由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，也称“阈值逻辑单元”。可以看出感知机是只有一层功能神经元，因此学习能力非常有限，在解决一些复杂问题时，我们就需要提供多层的功能神经元去处理，也就是说在输入层和输出层之间加入一层功能神经元，这一层常常称为隐层。这样隐层和输出层都有了激活函数的功能神经元。
4、多层前馈神经网络：每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，称为“多层前馈神经网络”。这种网络中的输入层神经元只接受输入，不进行函数处理，隐层和输出层包含功能神经元。
5、误差逆传播算法（BP）：先将输入层输入的数据提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结构；然后计算输出层的误差，再将误差逆向传播至隐层神经元，最后根据隐层神经元的误差来对连接权和阈值进行调整，如此循环迭代，直到达到某些条件为止。
注：BP算法的目标是要最小化训练集D上的误差积累，因此正因为强大的表示能力，BP神经网络经常出现过拟合，因此训练误差持续降低，而测试误差逐渐升高。那么常用“早停”和“正则化”两种测量来解决过拟合问题。
6、全局最小与局部极小：
如何跳出局部最小？常用模拟退火技术、随机梯度下降以及多组不同参数值初始化多个神经网络三种手段进行缓解，跳出局部极小，从而进一步接近全局最小。
7、常见的神经网络
径向基函数（RBF）网络、
自适应谐振理论（ART）网络、
自组织映射（SOM）网络、
级联相关网络、
递归神经网络（Elman）、
Boltzmann机
8、深度学习
预训练—微调训练
局部寻优—全局寻优
参考文献：http://blog.csdn.net/zouxy09/article/details/8775360