深度学习第二讲课后题

1. 人工神经元如何模拟生物神经元中的轴突，突轴和树突的？
输出层代表轴突，权重代表突轴，输入层代表树突。
2. 传统神经网络采用什么训练方法，存在哪些问题？
采用BP算法。
BP算法存在的问题：

（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；

（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；

（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习；
3. 为什么深层神经网络比浅层神经网络更高效？
deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小&#x