![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 51
雪伦_
这个作者很懒,什么都没留下…
展开
-
神经网络从原理到实现
1.简单介绍 在机器学习和认知科学领域,人工神经网络(artificial neural network,缩写ANN),简称神经网络(neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结原创 2016-11-29 17:14:10 · 65630 阅读 · 2 评论 -
Word2Vec原理详解
写在前面为了更方便读者学习,笔者下载了word2vec源码共享在云盘(google官网有时会访问不了),地址。还有关于word2vec实战的 地址下面是转载内容:word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单、高效,因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4]转载 2016-09-05 13:17:53 · 16092 阅读 · 3 评论 -
深度学习(DL):卷积神经网络(CNN):从原理到实现
序深度学习现在大火,虽然自己上过深度学习课程、用过keras做过一些实验,始终觉得理解不透彻。最近仔细学习前辈和学者的著作,感谢他们的无私奉献,整理得到本文,共勉。1.前言(1)神经网络的缺陷在神经网络一文中简单介绍了其原理,可以发现不同层之间是全连接的,当神经网络的深度、节点数变大,会导致过拟合、参数过多等问题。(2)计算机视觉(图像)背景通过抽取只依赖图像里小的子区域的局部特征,然后利用这些特原创 2016-12-01 20:30:30 · 51329 阅读 · 6 评论 -
自动编码器(Auto Encoder)
1.初识Auto Encoder1986 年Rumelhart 提出自动编码器的概念,并将其用于高维复杂数据处理,促进了神经网络的发展。自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,比如 。图1是一个自编码神经网络的示例。 图1自动编码器(autoencoder) 是神经网络的一种,该网络可以看作由两部分组成:一个编码器函数h = f(x) 和一个生成重构的解码原创 2016-12-08 14:16:32 · 29614 阅读 · 1 评论 -
限制玻尔兹曼机(RBM)
1.限制玻尔兹曼机的感性认识要回答这个问题大概还要从神经网络说起。(1)人工神经网络一言以蔽之,人工神经网络用于学习一个输入到输出的映射,通常由三层组成,输入层,隐层和输出层。各层之间的每个连接都有一个权值,人工神经网络的训练过程就是学习这个权值。典型的,可以使用随机梯度下降法。(2)递归人工神经网络递归人工神经网络的关键在于“递归”二字,其表现为各节点可以形成一个有向环。可以看到,递归神经网络和普转载 2016-12-12 16:06:28 · 8328 阅读 · 1 评论 -
深度信念网络(DBN)
1.初识深度信念网络 深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。 DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machine原创 2016-12-13 12:47:20 · 85459 阅读 · 9 评论 -
循环神经网络(RNN)
1.NN & RNN在神经网络从原理到实现一文中已经比较详细地介绍了神经网络,下面用一张图直观地比较NN与RNN地不同。从图1中可以看出,RNN比NN多了指向自己的环,即图1中的7,8,9,10节点及其连线。图2显示RNN展开的网络结构。在传统的神经网络中,我们假设所有的输入(包括输出)之间是相互独立的。对于很多任务来说,这是一个非常糟糕的假设。如果你想预测一个序列中的下一个词,你最好能知道哪些词在原创 2016-12-05 17:03:49 · 23672 阅读 · 0 评论 -
Long-Short-Term-Memories(LSTM)
1.传统RNN存在的问题在循环神经网络一文中,对前向传播、后向传播进行了仔细的推导,回顾一下,可以发现传统RNN很容易产生梯度消失、爆炸的问题。可能公式会显得有点抽象,这里举一个例子:那么,LSTM是如何解决这个问题的呢?2.RNN && LSTM如图1所示,这就是一个传统的RNN模型,激活函数用的是tanh 图1图2与图1拥有类似的网络结构,只不过内部会更加复杂,即包括输入、忘记、输出门。原创 2016-12-06 17:05:03 · 9992 阅读 · 0 评论 -
稀疏编码器(Sparse Encoder)
1.介绍在自动编码器一文中,我们已经简单介绍了基于隐藏神经元数量较小的假设,本文主要基于隐藏神经元数量较大的假设。此时,我们仍然通过给自编码神经网络施加一些其他的限制条件来发现输入数据中的结构。比如我们给隐藏神经元加入稀疏性限制。稀疏性可以被简单地解释如下:假设神经元的激活函数时sigmoid函数,那么当神经元的输出接近于1的时候我们认为它被激活,而输出接近于0的时候认为它被抑制,那么使得神经元大部原创 2016-12-08 20:14:38 · 8189 阅读 · 4 评论