2017年08月_Doit_行之

原创读论文《Auto-Encoding Variational Bayes》

这篇论文将变分贝叶斯和神经网络结合起来，用神经网络学习变分推导的参数，以得到后验推理p(z|x)的似然，并获得了一个效果不错的生成模型-变分自编码器

2017-08-31 11:15:27 18617 6

原创读论文《Convolutional Neural Networks for Sentence Classification》

这篇论文把卷积神经网络用到了句子分类中，算是把卷积神经网络的应用范围扩大到了nlp领域。作者将句子中的词用word embedding代表，从上到下排列构成了一个矩阵。这个矩阵就相对于句子的语义特征图。然后就可以对这个语义特征图进行卷积。

2017-08-29 00:28:50 1596

原创深度学习概述-神经网络与深度学习学习笔记（一）

最近在学习复旦邱锡鹏老师的《神经网络与深度学习》，并对书中推荐的论文进行了阅读。感觉这本书对深度学习讲解得很好，即有全面严谨的讲述，也有高屋建瓴的理解。本文的行文结构是按邱老师的书籍结构来的，并结合自己的理解总结了书籍中的相关要点，想要对神经网络和深度学习有更好了解的，推荐大家看邱老师写的《神经网络与深度学习》。

2017-08-27 21:42:54 5647

原创读论文《The perceptron: A probabilistic model for information storage and organization in the brain》

这篇论文是神经网络的开山之作，在论文中Rosenblatt提出了感知机（perceptron），为后来对人工神经网络的研究奠定了基础。

2017-08-27 15:43:12 6098 3

原创经典词嵌入与神经网络语言模型的对比研究

本文将对NNLM,C&W模型,RNNLM,CBOW模型,Skip-gram模型等经典神经网络语言模型进行介绍，对比分析这些模型的结构和特点，并对神经网络语言模型的构造方法进行讨论。

2017-08-24 21:04:55 10085

原创 MNIST 数字识别和数据持久化--step by step 入门TensorFlow（三）

我们将采用Jupyter notebook交互式编程的方式，通过一步步代码的讲解，学习Tensorflow 编程。推荐使用Jupyter notebook作为开发环境按照文中的代码step by step 的学习。

2017-08-24 13:53:21 994

原创深层神经网络实现--step by step 入门TensorFlow（二）

我们将采用Jupyter notebook交互式编程的方式，通过一步步代码的讲解，学习Tensorflow 编程。推荐使用Jupyter notebook作为开发环境按照文中的代码step by step 的学习。

2017-08-24 13:37:14 1154 1

原创 Tensorflow基础知识与神经网络构建--step by step 入门TensorFlow（一）

我们将采用Jupyter notebook交互式编程的方式，通过一步步代码的讲解，学习Tensorflow编程。推荐使用Jupyter notebook作为开发环境按照文中的代码step by step 的学习。

2017-08-24 13:28:03 2355

原创读论文《Recurrent neural network based language model 》

本文将循环神经网络RNN引入了神经网络语言模型，用RNN对历史信息的存储代替以n为窗口的上下文。作者将语言模型中的隐藏层作为状态存储单元，以当前单词的词嵌入和上一状态的叠加作为输入，输出对下一个单词的预测。

2017-08-24 12:51:25 2879

原创 win10安装tensorflow

1.安装Python 3.5及以上和pip【可以通过安装Anaconda 3同时获得】（推荐安装Anaconda）；2.设置环境变量（安裝Anaconda是默认不勾选，Anaconda中勾选这里就不用设置） 3.一键安装（CPU版）：pip install --upgrade --ignore-installed tensorflow（GPU版）pip install --upgrade --i

2017-08-24 10:55:08 426

原创读论文《Distributed Representations of Words and Phrases and their Compositionality》

这篇论文是对《Efficient Estimation of Word Representations in Vector Space》的补充，介绍了使用Skip-gram模型和Hierarchical Softmax训练模式的训练方法。并补充了Negative Sampling的训练模式替代Negative Sampling，获得更快的训练效果。

2017-08-24 00:35:43 3896 1

原创读论文《Efficient Estimation of Word Representations in Vector Space》

词的分布式表示（又称词嵌入，word embedding）因为这篇文章开始大火，原来的word embedding只是神经网络语言模型的副产物，而该论文的主要的目标是训练具有语义特征的word embedding。

2017-08-23 23:13:44 2355

原创读论文《Natural Language Processing (Almost) from Scratch》

本文也是神经网络语言模型和词嵌入的经典论文，本文与之前的《A Neural Probabilistic Language Model》模型的不同在于，本文的核心目标是训练好的word embedding以完成词性标注 (POS)、短语识别(CHUNK)、命名实体识别

2017-08-23 13:34:47 7049 2

原创读论文《A Neural Probabilistic Language Model》

introduce本文算是训练语言模型的经典之作，Bengio将神经网络引入语言模型的训练中，并得到了词嵌入这个副产物。词嵌入对后面深度学习在自然语言处理方面有很大的贡献，也是获取词的语义特征的有效方法。

2017-08-22 16:44:01 2258

知行_那片天