yangqingse的博客

链接：https://www.zhihu.com/question/23437871/answer/24696910来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。pooling的结果是使得特征减少，参数减少，但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性（旋转、平移、伸缩等），常用的有mean-pooling，max-pooling和St...

本文章参考斯坦福深度学习课程，图片也来自于课程截图为什么我们需要激活函数：没有激活函数的神经网络只不过是一个线性回归模型，它功率有限，并且大多数情况下执行得并不好。我们希望神经网络不仅仅可以学习和计算线性函数，而且还要比这复杂得多。1.sigmoid函数        缺点：1.饱和神经元（绝对值很大的数值)将使得梯度消失     x=10或-10时梯度为0，使用链式法则梯度相乘，梯度消失2.si...

本文章中截图来自斯坦福大学深度学习课程权重初始化1.当用0初始化权重时会发生什么？    由于权重都为0，给定一个输入，每个神经元将在输入数据上有同样的操作，输出同样的值，得到相同的梯度，使用相同的方式更新，从而得到相同的神经元。 2.当权重初始化值太小时：激活值逐渐变成0，梯度也会变成0，因为不断乘以这么小的数，所有的都会变成03.当权重初始化值太大时：激活值饱和，梯度接近0数据预处理1.在卷积...

本文章所有截图来自于斯坦福深度学习课程，是个人看完视频后正则化小结。正则化的宏观概念就是你对你模型做的任何事情，也就是种种所谓的惩罚，主要目的是为了减轻模型的复杂度，而不是去试图拟合数据1.L1正则化(鼓励稀疏)L1更喜欢稀疏解，它倾向于让你的W大部分元素值接近0，少数元素除外，偏离02.L2正则化（权值衰减)L2正则化就是欧式范数的权重向量W。L2正则化理念上就是对这个权重向量的欧式范数进行惩罚...

迁移学习：在数据量很小的情况下，可以根据其他已经训练好的模型，在该小数据集下进行训练，本文章截图来自于斯坦福大学深度学习课程