机器学习第五章神经网络

3. M-P神经元模型中，神经元接收来自其他神经元传递过来的输入信号，这些输入信号通过____带权重的连接__________进行传递，神经元接收到的总输入值与_________神经元的阈值______进行比较，然后通过_______激活函数________处理以产生神经元的输出。

4.误差逆传播算法（BP算法）基于_____梯度下降______________策略，以目标的负梯度方向对参数进行调整。

5.假定一个单隐层的前馈神经网络，拥有m个输入神经元,n个输出神经元、q个隐层神经元，那么该神经网络中需要确定的连接权重参数有多少个？  

答：共有（mq+nq+n+q）个

  

6.常用来缓解BP网络的过拟合的策略有什么？

答：早停：将数据集分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。

提高正则化参数：在误差目标函数中增加一个用于描述网络复杂度的部分。

7. 请简述感知机模型，感知机的学习策略与学习算法。

答：感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面，为求得超平面导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化。

感知机的模型是  它的任务是解决二分类问题，要得到感知机模型我们就需要学习到参数w，b。

感知机学习策略：感知机的目标是找到能将正类负类完全正确分开的分离超平面，为了找到这个超平面，即确定感知机模型参数w,b，就需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。

感知机的损失函数：所有误分类点到超平面的距离之和。

，其中M为误分类点的集合。这个损失函数就是感知机学习的经验风险函数，是参数w和b的连续可导函数。

8. 误差逆传播（error BackPropagation，简称BP）算法是神经网络学习算法，简述使用BP算法训练多层前馈神经网络的工作过程。

答：在（0.1）范围内随机初始化网格中所有连接权和阈值，到输出层产生结果，
计算输出层神经元误差，传到隐藏层，
计算隐藏层神经元误差，然后更新连接权和阈值，
重复此过程直至达到停止条件，输出连接权和阈值确定的多层前馈神经网络。

9.简述标准BP算法与累积BP算法的区别。

答：累积 BP 算法与标准 BP 算法都很常用.一般来说，标准 BP 算法每次更新只针对单个样例,参数更新得非常频繁，而且对不同样例进行更新的效果可能出现"抵消"现象.因此，为了达到同样的累积误差极小点 标准 BP 算法往往需进行更多次数的法代.累积 BP 算法直接针对累积误差最小化，它在对整个训练集的误差累积一遍后才对参数进行更新，其参数更新的频率低得多.但在很多任务中，累积误差下降到一定程度之后，进一步下降会非常缓慢，这时标准 BP 往往会更快获得较好的解，尤其是在训练非常大时更明显.

10.课后习题5.4

学习率太高会导致误差函数来回震荡，无法收敛；而学习率太低则会收敛太慢，影响训练效率。