深度学习第四讲课后题

1.卷积层中的共享参数是什么？
如果一组权重（卷积核）在图像中的某个区域提取有效的表示，也能在图像另外区域中提取有效表示，在相同激活映射上的不同位置的盛京医院共享相同的权重

2.池化层的作用是什么？
降低图片的空间尺寸。池化层根据神经元空间上局部统计信息进行采样，在保留有用信息同时减少神经元空间大小，是参数量减少并降低过拟合的可能。

3.为什么ReLU经常用于神经网络的激活函数？
对正数原样输出，负数直接置零。在正数不饱和，在负数硬饱和。relu计算上比sigmoid或者tanh更省计算量，因为不用exp，因而收敛较快。但是还是非zero-centered。
（1）解决了梯度消失问题
（2）秩序判断输入是够大于0
（3）收敛速度远快于sigmoid和tanh，因为sigmoid和tanh涉及了很多expensive的操作。
（4）提供了神经网络的稀疏表达能力

4.损失函数度量的是什么？损失函数的设计决定了什么？
（1）模型预测值与真实值之间的误差
（2）损失函数的设计不仅定义了问题，还直接决定了优化算法收敛的性能，甚至是否成功收敛。

5.常用的激励函数有哪些？softmax函数解决什么样的分类问题？与sigmoid函数有什么不同？
（1）Sigmod、Tanh、ReLU、Leaky ReLU、 ELU、 Maxout。