深度学习
文章平均质量分 81
1.02^365的成长裂变
每天比别人努力一点,坚持下去就是裂变的威力~
展开
-
[深度学习PART I] 神经网络概述
1. 神经网络是什么神经网络一般分为生物神经网络和人工神经网络。生物神经网络指生物的大脑神经元,细胞,触点等组成的网络,用于产生生物的意识,帮助生物进行思考和行动。人工神经网络(ANN)是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间的相互连接的关系,从而达到处理信息的目的。在计算机领域,我们所说的神经网络通常指的是人工原创 2017-09-12 09:45:56 · 11547 阅读 · 0 评论 -
[深度学习] Word2vec 之 Skip-Gram 模型(实现篇)
这是一个关于 Skip-Gram 模型的系列教程,共分为结构、训练和实现三个部分,本文为最后一部分:实现篇。前言上一篇的专栏介绍了Word2Vec中的Skip-Gram模型的结构和训练,如果看过的小伙伴可以直接开始动手用TensorFlow实现自己的Word2Vec模型,本篇文章将利用TensorFlow来完成Skip-Gram模型。还不是很了解Skip-Gram思想的小伙伴可以先看一下上...转载 2018-07-24 23:22:21 · 28671 阅读 · 1 评论 -
[深度学习] Word2vec 之 Skip-Gram 模型(训练篇)
这是一个关于 Skip-Gram 模型的系列教程,依次分为结构、训练和实现三个部分,本文为第二部分:训练篇。第一部分我们了解skip-gram的输入层、隐层、输出层。在第二部分,会继续深入讲如何在skip-gram模型上进行高效的训练。在第一部分讲解完成后,我们会发现Word2Vec模型是一个超级大的神经网络(权重矩阵规模非常大)。举个栗子,我们拥有10000个单词的词汇表,我们如果想...转载 2018-07-24 23:21:13 · 25421 阅读 · 0 评论 -
[深度学习] Word2vec 之 Skip-Gram 模型(结构篇)
这是一个关于 Skip-Gram 模型的系列教程,依次分为结构、训练和实现三个部分,本文为第一部分:结构篇。这次的分享主要是对Word2Vec模型的两篇英文文档的翻译、理解和整合,这两篇英文文档都是介绍Word2Vec中的Skip-Gram模型。下一篇专栏文章将会用TensorFlow实现基础版Word2Vec的skip-gram模型,所以本篇文章先做一个理论铺垫。原文英文文档请参考链接:...转载 2018-07-24 23:19:51 · 23746 阅读 · 0 评论 -
[深度学习] 梯度消失与梯度爆炸的原因及解决方法
前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主要介绍深度学习中梯度消失及爆炸的原因,第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中,梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调- 梯度剪切、权重正则(针对梯度爆炸)- 使用不同的激活函数- 使用bat...转载 2018-04-16 16:40:28 · 98207 阅读 · 4 评论 -
[深度学习框架] Tensorflow上使用CNN进行mnist分类
to be continued原创 2017-12-13 09:55:15 · 3752 阅读 · 0 评论 -
[深度学习框架] 在Mac上安装Tensorflow
这个文档说明了如何在 Mac OS X 上安装 TensorFlow。注意:从 1.2 版本开始,在 Mac OS X 上 TensorFlow 不再支持 GPU。确定如何安装 TensorFlow你可以选择一种方式安装 TensorFlow,支持下面的几种选择:virtualenv"本地" pipDocker从源代码安装,更专业有单独的文档记录我们建议使用 v转载 2017-11-29 07:37:23 · 12051 阅读 · 0 评论 -
[深度学习框架] Keras上使用RNN进行mnist分类
import numpy as npnp.random.seed(1337) # for reproducibilityfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import SimpleRNN原创 2017-11-29 20:48:27 · 4533 阅读 · 0 评论 -
[深度学习框架] Keras上使用CNN进行mnist分类
# coding: utf-8import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Dense, Activation, Convolution2D, MaxP原创 2017-11-29 20:46:58 · 6096 阅读 · 0 评论 -
[深度学习框架] Keras上使用神经网络进行mnist分类
# coding: utf-8import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Dense, Activationfrom keras.optimizer原创 2017-11-29 20:44:25 · 4180 阅读 · 0 评论 -
[深度学习框架] Theano上回归神经网络实现
# coding: utf-8import numpy as npimport theano.tensor as Timport matplotlib.pyplot as pltimport theanofrom theano import functionclass Layer(object): def __init__(self, inputs, input_size,原创 2017-11-15 18:06:53 · 3743 阅读 · 0 评论 -
[深度学习PART I] 单层感知器
1. 原理单层感知器的原始形式如下:如果把偏置项当作特殊权值,则单层感知器可以改为如下形式:感知器的学习规则学习率:(1)学习率太大,容易造成权值调整不稳定。(2)学习率太小,权值调整太慢,迭代次数太多。收敛条件:(1)误差小于某个预先设定的较小的值。(2)两次迭代之间的权值变化已经很小。(原创 2017-10-10 16:03:02 · 3819 阅读 · 0 评论