关于神经网络一些容易被忽略的问题
1.在多层感知机中,我们都知道神经元之间通常使用“全连接”方式进行连接。那么什么是“全连接”方式呢?
所谓的“全连接”是指两个相邻层之间的神经元相互成对连接,但同一层内神经元之间没有连接。
2. 神经网络的损失函数为什么一般采用凸函数?
对于优化问题来说,凸函数具有一个良好的性质:凸函数的局部最优解即是全局最优解。因此采用梯度下降法能帮助凸函数找到全局最小值。
3. 在LSTM中,为什么三个门的结构采用的是sigmoid函数,而内部记忆单元和隐式编码采用了tanh函数而没有继续采用sigmoid函数?
与sigmoid和tanh函数的值域有关,由于sigmoid函数值域在(0,1)之间,三种门采用sigmoid这一非线性映射函数对信息起到了“控制”的作用,tanh函数的值域在(-1,1)之间,使得其在信息整合时起到信息“增为正,减为负”的效果。
4. 卷积操作的步伐(striding)有什么作用?
步伐参数就是卷积核做卷积过程中,在图像上每一步所跳跃的格点数量,相当于卷积加池化。
扩展:
关于卷积中输出图像特征大小:假如输入图像尺寸是w,卷积窗口大小是s,填充数为c,步伐为d,那么输出的特征图大小为
待补充系列