- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 延迟补偿的异步随机梯度下降(ASGD with DC)
摘要随着深度学习快速发展，目前普遍使用大数据训练庞大神经网络。因为效率高，ASGD广泛使用，但是有梯度延迟的缺陷。这是因为当一个本地worker将梯度push到全局模型中时，可能这个全局模型已经被其他worker将梯度更新过了，这样本地worker push的梯度就是延迟的。因此本文提出补偿延迟的一个新技术，为了使ASGD更接近于SGD的优化效果。这是利用梯度函数的泰勒展开来有效逼近损耗函数的Hes
2017-07-18 20:46:12
10131
7
原创 卷积神经网络教程
在图像处理中，往往把图像表示为像素的向量，比如一个1000×1000的图像，可以表示为一个1000000的向量。在上一节中提到的神经网络中，如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为1000000×1000000=10^12，这样就太多了，基本没法训练。局部感知卷积神经网络有两种神器可以降低参数数目，第一种神器叫做局部感知野。一般认为人对外界的认知是从局部到全
2017-07-15 22:33:06
571
原创 DNN基础教程
一、原理前向传播： http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C 反向传播： http://blog.csdn.net/han_xiaoyang/article/details/50321873二、Python实现使用mn
2017-07-15 01:14:04
2921
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人