神经网络
Carl-Xie
这个作者很懒,什么都没留下…
展开
-
递归神经网络(RNN)简介
在此之前,我们已经学习了前馈网络的两种结构——多层感知器和卷积神经网络,这两种结构有一个特点,就是假设输入是一个独立的没有上下文联系的单位,比如输入是一张图片,网络识别是狗还是猫。但是对于一些有明显的上下文特征的序列化输入,比如预测视频中下一帧的播放内容,那么很明显这样的输出必须依赖以前的输入, 也就是说网络必须拥有一定的”记忆能力”。为了赋予网络这样的记忆力,一种特殊结构的神经网络——递归神经网络原创 2016-03-02 17:27:51 · 69663 阅读 · 20 评论 -
从多层感知器到卷积网络(二)
上一篇中,我们讲解了什么是MLP以及如何训练得到一个MLP,读者大概对神经网络有一定的印象了。我们总说,好戏在后头,接下来这一大块头,我们将重点介绍卷积网络。何谓卷积单凭卷积这一个称号大概可以吓死一半的普通老百姓了。一开始接触卷积网络的时候,我就差点成了那一半的老百姓,幸好我命大,最终挺过来了。卷积,只依稀记得当年大学概率论稍有提过这样的名词,那时不愿深究,现在胆子大了,没事,维基搞起...原创 2015-06-07 22:28:55 · 11117 阅读 · 16 评论 -
从多层感知器到卷积网络(一)
写在最前面本系列文章试图以直观的思维讲解神经网络的两个种类——多层感知器(Muti-Layer Percetron)和卷积网络(Convolutional Neural Network)。这两种网络都属于前馈型网络(Feedforward network),其中多层感知器(MLP)是最简单也是最常见的一种神经网络结构,它是所有其他神经网络结构的基础,所以不出意外,在介绍卷积网络前,不得不提一提...原创 2015-06-01 20:34:26 · 27775 阅读 · 19 评论 -
自动微分(Automatic Differentiation)简介
现代深度学习系统中(比如MXNet, TensorFlow等)都用到了一种技术——自动微分。在此之前,机器学习社区中很少发挥这个利器,一般都是用Backpropagation进行梯度求解,然后进行SGD等进行优化更新。手动实现过backprop算法的同学应该可以体会到其中的复杂性和易错性,一个好的框架应该可以很好地将这部分难点隐藏于用户视角,而自动微分技术恰好可以优雅解决这个问题。接下来我们将一起...原创 2017-04-18 15:01:14 · 43900 阅读 · 19 评论