- 博客(19)
- 收藏
- 关注
RSS订阅转载 word2vec 中的数学原理详解（六）若干源码细节
非常好的文章 作者: peghoty 转自：http://blog.csdn.net/itplus/article/details/37969519 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并
2016-09-24 12:53:25
1726
转载 word2vec 中的数学原理详解（五）基于 Negative Sampling 的模型
非常好的文章 作者: peghoty 转自：http://blog.csdn.net/itplus/article/details/37998797 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并
2016-09-24 12:48:41
3016
转载 word2vec 中的数学原理详解（四）基于 Hierarchical Softmax 的模型
非常好的文章 作者: peghoty 转自：http://blog.csdn.net/itplus/article/details/37969519 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并
2016-09-24 12:40:12
2353
转载 word2vec 中的数学原理详解（三）背景知识
非常好的文章 作者: peghoty 转自：http://blog.csdn.net/itplus/article/details/37969817 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并
2016-09-24 12:33:08
1685
转载 word2vec 中的数学原理详解（二）预备知识
非常好的文章 作者: peghoty 转自：http://blog.csdn.net/itplus/article/details/37969635 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并
2016-09-24 12:26:03
1510
转载 word2vec 中的数学原理详解（一）目录和前言
非常好的文章，作者: peghoty 转自：http://blog.csdn.net/itplus/article/details/37969519 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈
2016-09-24 12:09:32
1794
原创 神经网络语言模型（NNLM）
用神经网络来训练语言模型的思想最早由百度 IDL （深度学习研究院）的徐伟提出[1],NNLM（Nerual Network Language Model）是这方面的一个经典模型，具体内容可参考 Bengio 2003年发表在JMLR上的论文[2]1. 模型原理训练集数据是一组词序列w1 w_{1 }…wTw_{T},wt∈Vw_{t} \in V。其中 VV 是所有单词的集合（即词典），ViV_{
2016-09-22 17:16:31
26083
1
原创 Tensorflow - Tutorial (5) : 降噪自动编码器（Denoising Autoencoder)
1. Denoising Autoencoder在神经网络模型训练阶段开始前，通过Autoencoder对模型进行预训练可确定编码器WW的初始参数值。然而，受模型复杂度、训练集数据量以及数据噪音等问题的影响，通过Autoencoder得到的初始模型往往存在过拟合的风险。关于Autoencoder的介绍请参考：自动编码器（Autoencoder）。在介绍Denoising Autoencoder（降噪
2016-09-22 09:40:42
16840
3
转载 理解Python的With语句
With语句是什么？Python’s with statement provides a very convenient way of dealing with the situation where you have to do a setup and teardown to make something happen. A very good example for this is the si
2016-09-21 14:14:53
1388
原创 自动编码器（Autoencoder）
autoencoder是一种无监督的学习算法。在深度学习中，autoencoder用于在训练阶段开始前，确定权重矩阵WW的初始值。神经网络中的权重矩阵WW可看作是对输入的数据进行特征转换，即先将数据编码为另一种形式，然后在此基础上进行一系列学习。然而，在对权重初始化时，我们并不知道初始的权重值在训练时会起到怎样的作用，也不知道在训练过程中权重会怎样的变化。因此一种较好的思
2016-09-20 22:16:52
50249
10
原创 Tensorflow - Tutorial (4) :基于CNN的手写数字识别
1. 模型结构本文只涉及利用Tensorflow实现CNN的手写数字识别,关于CNN的内容请参考:卷积神经网络(CNN) MNIST数据集的格式与数据预处理代码input_data.py的讲解请参考 :Tutorial (2)该CNN模型包含3个卷积层,2个全连接层,具体结构如下:输入层 : CNN的输入是一张图片,用28x28的矩阵表示C1层 :该层为卷积层,卷积核大小是3x3,激活函数为RE
2016-09-20 14:47:32
7633
2
转载 dropout原理
原文地址:http://blog.csdn.net/stdcoutzyx/article/details/49022443理解dropout开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀
2016-09-17 20:26:57
7415
原创 Tensorflow - Tutorial (3) : 前馈神经网络(多层感知机)
前馈神经网络一个简单的3层神经网络模型例子如下，圆圈表示神经网络的输入，“+1”的圆圈被称为偏置节点。神经网络最左边的一层叫做输入层,包含3个输入单元，最右的一层叫做输出层。中间所有节点组成的一层叫做隐藏层,包含3个神经元。 前馈神经网络与反向传播算法请参考 Feedforward Neural Network手写数字识别MNIST数据集的格式与数据预处理代码input_data.py的讲解请参考
2016-09-17 15:57:59
13719
3
原创 卷积神经网络(CNN)
1. CNN的起源1962年，Hubel和Wiesel等通过对猫的大脑视觉皮层系统的研究，提出了感受野的概念，并进一步发现了视觉皮层通路中对于信息的分层处理机制，由此获得了诺贝尔生理学或医学奖。Hubel DH, Wiesel TN. Receptive fields, binocular interaction and functional architecture in the ca
2016-09-17 15:05:59
22193
3
原创 Tensorflow - Tutorial (2) : 利用softmax回归进行手写数字识别
Tensorflow - Tutorial (2) : 利用softmax进行手写数字识别
2016-09-10 15:40:40
7717
6
转载 TensorFlow概述
基本使用使用 TensorFlow, 你必须明白 TensorFlow:使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (context) 中执行图.使用 tensor 表示数据.通过 变量 (Variable) 维护状态.使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.
2016-09-09 10:53:03
2078
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人