有意思的问题
Vic时代
这个作者很懒,什么都没留下…
展开
-
计算机视觉——问题
伪代码实现直线检测实现一种插样resize函数代码实现图像旋转函数列举出你知道的特征算子及其特点,例如SITF,LBF等原创 2017-05-12 11:52:30 · 557 阅读 · 0 评论 -
自问自答3——深度学习中如何避免梯度消失(待回答)
上一问中,我们回答了为什么要避免梯度爆炸/消失现象。那么为了避免这种现象的发生,我们必须知道这种现象的源头。所以这一节我们要探讨为什么会发生梯度爆炸/消失?或者等价地说成什么情况下会发生梯度爆炸/消失?原创 2017-06-22 17:12:24 · 1652 阅读 · 0 评论 -
自问自答2——深度学习中梯度消失/爆炸为什么是一个问题?(待完善)
我们知道SGD只是用来求解优化问题的一种方法:沿着负梯度方向找到损失最小值。所以SGD的核心就是计算梯度以得到参数更新。而在深层神经网络中,反向传播时很容易发生梯度消失或者梯度爆炸的问题。我们认为这两种情况是非常危险的,要极力避免。 无论梯度消失或者梯度爆炸,这些梯度仍旧指引着使得损失减小的参数方向。那为什么要把梯度消失或者梯度爆炸看做一个问题呢?看起来要归咎于更新步长了。当参数梯度过小时,会导致原创 2017-06-22 17:07:24 · 2881 阅读 · 0 评论 -
自问自答1——为什么深度学习不采用牛顿法及其衍生算法作为优化算法?
原因一:Hessian矩阵难以求解。深度网络很难写出拟合函数的表达式,遑论直接得到其梯度表达式,更不要说得到基于梯度的Hessian矩阵了。原创 2017-05-12 10:36:42 · 4652 阅读 · 6 评论 -
算法与数据结构
问题1 1亿的文本如何放在100台机器上两两做相似度计算问题2 40亿数据如何用2G内存排序问题3 遍历树原创 2017-08-30 08:28:29 · 524 阅读 · 0 评论 -
深度学习和机器学习——试题
。原创 2017-05-12 11:48:19 · 2926 阅读 · 0 评论