![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
torch
文章平均质量分 80
懒人元
欢迎关注我的微信公共号:懒人学AI (lanren_ai)
展开
-
Torch实现ReQU,和梯度验证
重写函数我们使用torch实现我们自己的ReQU模块。在实现一个新的layer之前,我们必须了解,我们并非重写forward和backward方法,而是重写里面调用的其他方法。 1)重新updataOutput方法,从而实现forward方法。 2)重写updataGradInput方法实现部分backward,计算loss函数相对于layer输入的导数,dloss/dx, 根据loss函数相对原创 2016-01-10 23:39:37 · 4916 阅读 · 0 评论 -
Torch中optim的sgd(Stochastic gradient descent)方法的实现细节
Torch中optim的sgd(Stochastic gradient descent)方法的实现细节Overviewsgd的全称是Stochastic gradient descent,关于Stochastic gradient descent我们不在本文详述。 Stochastic gradient descent https://en.wikipedia.org/wiki/Stochast原创 2015-12-26 18:02:11 · 13016 阅读 · 0 评论 -
使用Torch nngraph实现LSTM
什么是RNN RNN:多层反馈RNN(Recurrent neural Network、循环神经网络)神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的输入序列,这让它可以更容易处理如不分段的手写识别、语音识别等。——百度百科 下面我们看看抽象出来的RNN的公式: ht=θϕ(ht−1)+θx原创 2016-01-29 23:17:01 · 8716 阅读 · 4 评论