【智能计算系统笔记】第二章笔记及课后习题

笔记

课后习题

1. 多层感知机和感知机的区别是什么？为什么会有这样的区别?

只有一个神经元的单层神经网络，被称为感知机。
多层感知机由一组输入、一个隐层和一个输出层组成。
因为单层感知机只能解决输入数据线性可分的问题，无法解决非线性可分的问题。

2. 假设有一个只有1个隐层的多层感知机，其输入、隐层、输出层的神经元个数分别为33、512、10，那么这个多层感知机中总共有多少个参数是可以被训练的？

weight ：33 * 512 + 512* 10
bias ：2

3. 反向传播中，神经元的梯度是如何计算的？权重是如何更新的？

首先根据神经网络计算出的值和期望值计算出损失函数的值，
然后计算损失函数对每个权重或偏置的偏导，
最后沿着梯度相反的方向进行权重更新。
通过多次迭代就可以找到使损失函数的值最小的参数。

4. 请在同一个坐标系内画出五种不同的激活函数图像，并比较它们的取值范围。

5. 请简述三种避免过拟合问题的方法。

（1）参数范数惩罚：在损失函数中增加对高次项的惩罚，可以避免过拟合。
（2）稀疏化：稀疏化是在训练时，让神经网络中的很多权重或神经元为0。
（3）Bagging集成学习：基本思想是三个臭皮匠顶个诸葛亮，训练不同的模型来共同决策测试样例的输出。

6. sigmoid激活函数的极限是0和1，请给出它的导数形式并求出其在原点的导数值。

sigmoid函数如下：

7. 假设激活函数的表达式为请给出它的导数表达式并求出其在原点的取值。

8. 假设基本采用表2.1中的符号，一个经过训练的有两个隐层的MLP如何决定各个输出神经元的标记？预测过程中，当前输入的样本的标记如何决定？

略

9. 一种更新权重的方法是引入动量项，即，动量项a的取值范围通常为[0，1]，这样取值对于权重更新有什么影响？如果取值范围为[-1，0]呢？

当动量项a的参数范围为 [0，1] 时，权重参数会被同比例缩小。
当动量项a的参数范围为 [-1，0] 时，权重参数会被反向同比例缩小。

10. 反向传播中，采用不同的激活函数对于梯度的计算有什么不同？请设计一个新的激活函数并给出神经元的梯度计算公式。

激活函数的输出决定了下一层神经网络的输入。激活函数会影响特征表示受到有限权重、基于梯度的优化方法、是否可用于非线性可分问题。
激活函数有两个条件：1. 可微；2. 输出值的范围有限。
如题7

11. 请设计一个多层感知机实现4位全加器的功能，即两个4比特输入得到一个4比特输出及一个1比特进位。请自行构建训练集、测试集，完成训练及测试。

略

12. 请在不使用任何编程框架的前提下，重新实现解决习题2.11的代码。

以后补