机器学习
文章平均质量分 80
懒人元
欢迎关注我的微信公共号:懒人学AI (lanren_ai)
展开
-
Torch实现ReQU,和梯度验证
重写函数我们使用torch实现我们自己的ReQU模块。在实现一个新的layer之前,我们必须了解,我们并非重写forward和backward方法,而是重写里面调用的其他方法。 1)重新updataOutput方法,从而实现forward方法。 2)重写updataGradInput方法实现部分backward,计算loss函数相对于layer输入的导数,dloss/dx, 根据loss函数相对原创 2016-01-10 23:39:37 · 4926 阅读 · 0 评论 -
Torch中optim的sgd(Stochastic gradient descent)方法的实现细节
Torch中optim的sgd(Stochastic gradient descent)方法的实现细节Overviewsgd的全称是Stochastic gradient descent,关于Stochastic gradient descent我们不在本文详述。 Stochastic gradient descent https://en.wikipedia.org/wiki/Stochast原创 2015-12-26 18:02:11 · 13036 阅读 · 0 评论 -
使用Torch nngraph实现LSTM
什么是RNN RNN:多层反馈RNN(Recurrent neural Network、循环神经网络)神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的输入序列,这让它可以更容易处理如不分段的手写识别、语音识别等。——百度百科下面我们看看抽象出来的RNN的公式: ht=θϕ(ht−1)+θx原创 2016-01-29 23:17:01 · 8748 阅读 · 4 评论 -
Fisher Information学习笔记
Fisher Infomation的意义Fisher Information 顾名思义,就是用来衡量样本数据的信息量的,通常我们有一组样本,我们在机器学习中需要估计出样本的分布,我们是利用样本所具有的信息量来估计参数的,样本中具有的信息量越多,估计的参数越准,样本的分布估计的就越接近真实分布,这里的信息量就是用Fisher Information来表示的。什么样本信息量比较大?我们用样本发生的概率来原创 2017-09-15 19:42:32 · 22095 阅读 · 10 评论 -
RPN 解析
RPN全称是Region Proposal Network,Region Proposal的中文意思是“区域选取”,也就是“提取候选框”的意思,所以RPN就是用来提取候选框的网络;1. RPN的意义RPN第一次出现在世人眼中是在Faster RCNN这个结构中,专门用来提取候选框,在RCNN和Fast RCNN等物体检测架构中,用来提取候选框的方法通常是Selective Se原创 2017-01-12 11:10:09 · 100823 阅读 · 107 评论