2016年11月_Thinking_boy1992

原创 word2vec

本文翻译自本文通过word2vec的“skip-gram and CBOW模型进行深度学习，使用hierarchical softmax 或negative sampling；训练算法最初是从C包中移植出来，https://code.google.com/archive/p/word2vec/，并且拓展了一些功能；有一个关于gensim word2vec 的博客教程，使用GoogleN

2016-11-24 09:19:18 978

翻译在英文维基百科上的实验

本文翻译自这个文档介绍获取和处理维基百科的过程，以至于每个人都可以复制其结果；准备语料库（Preparing the corpus） 1、首先，下载所有维基百科文章的转储地址（(you want the file enwiki-latest-pages-articles.xml.bz2, or enwiki-YYYYMMDD-pages-articles.xml.bz2 for d

2016-11-23 16:17:48 734 1

翻译相似度查询

本文翻译自相似度接口在前面的两篇教程中，讲述了用向量空间模型构造语料库的含义，以及如何在两个不同的向量空间进行转换；这样做的一般目的是我们想要确定两篇文档的相似性，或一篇文章和文档集中的其他文章的相似性；下面展示这如何在Gensim中被做到的，让我们考虑与前面例子相同的语料库； (which really originally comes from Deerwester et al.’s

2016-11-23 14:13:32 3317

翻译主题和转换

本文翻译自转换接口在前面那个教程中，我们构建了一个表示为向量流的文本语料，接着，使用Gensim来处理语料：>>> from gensim import corpora, models, similarities>>> if (os.path.exists("/tmp/deerwester.dict")):>>> dictionary = corpora.Dictionary.lo

2016-11-23 08:40:32 672

翻译 Corpora and Vector Spaces

不要忘记设置：>>> import logging>>> logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)如果你想要查看日志事件；从字符串到向量（From Strings to Vectors）从以字符串表示的文档开始：>>> from gensim impor

2016-11-22 20:31:49 803

Gensim 是被设计用来自动抽取文本语义主题的免费Python库； Gensim被设计用来处理原始、非结构化数字文本（纯文本）。在gensim中的算法，例如，Latent Semantic Analysis, Latent Dirichlet Allocation和Random Projections，通过统计训练文本语料中单词间共同出现的模式发现文档的语义结构；这些算法是非监督的，意味着不需要

2016-11-22 10:48:19 488

原创 Keras中文文档和英文文档

中文文档地址英文文档地址

2016-11-21 15:38:15 1514

转载 Keras 笔记

本章部分摘自博客问题一：怎么保存Keras模型结构 (1)如果只保存模型结构（仅仅保存模型结构，每次还要重新训练），代码如下：# save as JSON json_string = model.to_json() # save as YAML yaml_string = model.to_yaml() # model reconstruction from JSON: f

2016-11-21 15:11:59 751

转载 Windows7/10 Anaconda->theano->Keras安装

安装过程参考博客1 安装过程参考博客2 没有配置GPU加速；（更有好GPU再说）重要步骤：一、卸载之前的版本把之前单独安装的Python、Anaconda等统统卸载掉。Anaconda里边包含了python。注意清空有关环境变量；二、安装Anaconda Anaconda，之所以选择它是因为它内置了python，以及numpy、scipy两个必要

2016-11-21 10:05:28 5811

原创 Keras 时序模型

本文翻译自时序模型就是层次的线性叠加。你能够通过向构造函数传递层实例的列表构建序列模型：from keras.models import Sequentialfrom keras.layers import Dense, Activationmodel = Sequential([ Dense(32, input_dim=784), Activation('relu'),

2016-11-17 21:18:18 7901

原创 Keras简介

本文摘自 Keras是一个高水平的神经网络库，使用Python进行编写，能够在Tensor或Theano的基础之上运行，它的开发目标是能够快速实验；如果你需要一个深度学习库，使用Keras: 简单和快速的原型设计（通过整体的模块化、极简化艺术、和扩展性）提供卷积神经网络和循环神经网络，以及二者的结合支持任意的链接方案（包括多输入和多输出训练）；

2016-11-17 20:00:06 913 1

原创深度学习库Deep Learning Libraries by Language

本文翻译自 python 1theano是一个python库，使用数值数组对数值表达式进行定义和计算，它使得使用python编写深度学习算法更加简单。在theano的基础之上，构建了很多库： 1 Keras 是一个极简主义、高度模块化的神经网络库，使用python编写，使用Theano ，在GPU和CPU上进行优化的张量计算。 2 Pylearn2

2016-11-17 14:53:03 1096

原创 RNN 教程-part4，用python实现LSTM/GRU

本文翻译自代码在Github上这是Part4 ，RNN教程的最后一部分；在这一部分，主要学习LSTM神经网络和GRU。LSTM在1997年首次提出，几乎是最流行的用于自然语言处理的深度学习模型。GRUs在2014年首次提出，是LSTMs的简单变体。让我们关注LSTMs,再看看GRUs有什么不同。 LSTM NETWORKS前面提到，梯度消失问题能够阻止标准RNNs学习长距离的依赖

2016-11-16 10:49:11 6026

原创基于时间的反向传播算法和梯度消失 -part3

本文翻译自前文从零开始实现了RNN，但是没有详细介绍Backpropagation Through Time (BPTT) 算法如何实现梯度计算。这篇文章将详细介绍BPTT。之后会分析梯度消失问题，它导致了LSTM和GRU的发展，这是两个在NLP领域最为流行和有效的模型。梯度消失问题在1991年被发现，但在近来受到关注，因为深度框架的广泛应用；为了充分理解这个教程，我建议要熟悉部分分化和

2016-11-12 11:33:43 3985

原创 RNN不合理的有效性（Unreasonable Effectiveness）

Vanilla NN（全连接神经网络）或CNN的一个明显的缺陷是它们的接口太受限：它们接受固定长度的向量作为输入，输出固定长度的向量。模型进行固定步骤的计算来映射向量之间的关系。RNN令人惊讶的原因是它允许我们操作向量的序列：输入序列或输出序列，或者输入输出都是序列；

2016-11-08 13:43:08 2555

原创循环神经网络在Python 、Numpy和Theano中的实现

这篇文章翻译自实现代码在这部分，我们将使用Python从头实现一个完整的RNN，并且使用theano进行优化。语言模型：我们的目的是使用RNN构建语言模型；假设我们有包含m个单词的句子，语言模型能够让我们预测这个句子存在的概率；

2016-11-08 09:46:02 2634 1

原创神经网络中的重要概念

感知机：输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果；使用离散的传输函数；多层感知器：= 神经网络上图展示了多层感知器的结构使用sigmoid或tanh等连续函数模拟神经元对激励的相应训练算法：反向传播BP算法神经网络的层数直接决定了它对现实的刻画能力。但是随着神经网络层数的加深，优化函数越来越容易陷入局部最优解。同时

2016-11-07 14:50:01 620

Thinking_boy1992的博客