![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 81
公众号【五元杂货铺】
公众号【五元杂货铺】
知乎【大飞飞飞飞飞】
微信【wuyuanzahuopu】
展开
-
RNN 中学习长期依赖的三种机制
【转自知乎:https://zhuanlan.zhihu.com/p/34490114】目前大约有三类机制解决长期依赖的学习问题,分别是门机制、跨尺度连接和特殊初始化(及其维持)。【门机制】代表作 LSTM: Long Short-Term Memory GRU: Gated Recurrent Unit Minimal Gated Unit,详见 [1603.09420] ...转载 2018-08-30 17:35:26 · 5441 阅读 · 0 评论 -
几种常用的激活函数
1. sigmod函数函数公式和图表如下图 在sigmod函数中我们可以看到,其输出是在[0,1]这个开区间内,我们可以联想到概率,但是严格意义上讲,不要当成概率。sigmod函数曾经是比较流行的,它可以想象成一个神经元的放电率,在中间斜率比较大的地方是神经元的敏感区,在两边斜率很平缓的地方是神经元的抑制区。当然,流行也是曾经流行,这说明函数本身是有一定的缺陷的。当输入稍微远离...转载 2018-08-30 11:13:35 · 9388 阅读 · 0 评论 -
BP(反向传播)算法
最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的译者在翻译的时候会对省略的公式推导过程进行补充,但是补充的又是错的,难怪觉得有问题。反向传播法其实是神经网络的基础了,但是很多人在学的时候总是会遇到一些问题,或者看到大篇的公式觉得好像很难就退缩了,其实不难,就是一个链式求导法则反复用。如果...转载 2018-08-30 15:48:41 · 2337 阅读 · 0 评论