西瓜书——第五章 神经网络总结

一、神经元模型

1、什么是神经网络；
2、什么式“M-P神经元模型”，绘制出大概模型；
3、”激活函数“的作用；有哪些激活函数；
4、为什么经常把阶跃函数作为激活函数，常用的激活函数有哪些，各有什么优缺点，大概图形是怎样的；

二、感知机与多层神经网络

1、什么是感知机；
2、说说如何使用感知机实现逻辑与、或、非运算；
3、感知机只有一层输出神经元进行激活函数处理，即只拥有一层功能神经元，学习能力非常有限；
4、什么是”多层前馈神经网络“；

三、误差逆传播算法

1、说说误差逆传播算法（BP算法）的原理；
2、手动推到误逆传播算法；
3、掌握标准BP算法和累积BP算法的区别；
4、众所周知；神经网络其强大的表示能力，常使其遭遇过拟合，如何解决过拟合问题；（”早停“和”正则化“）

四、全局最小和局部极小

1、如何试图”跳出“局部最小，从而进一步接近全局最小；
（1）以多组不同的参数初始化多个神经网络；按标准方法训练后，去其中误差最小的解作为最终参数；
（2）使用”模拟退火“技术；维基百科——神经网络
（3）使用随机梯度下降；维基百科——随机梯度下降
（4）遗传算法；维基百科——遗传算法

五、其他常见的神经网络

（1）RBF网络；
（2）ART网络；
（3）SOM网络；
（4）忌廉相关网络；
（5）Boltzmann机；

六、深度学习

（1）典型的深度学习模型有哪些；
（2）无监督逐层训练是多隐层网络训练的有效有段，其基本思想是什么；（预训练+微调）
（3）另一种节省训练开销的策略是”权共享“，以手写数字识别为例，说说其在卷积神经网络中的应用；