2018年06月_一夜了

09月 08月 07月 06月 05月 04月 03月

原创基于LSTM的seq2seq模型介绍以及相应的改进

简介DNN模型在语言识别等任务上具有强大的能力，主要是因为DNN可以在适当步骤中进行并行计算，尽管DNN很灵活并很有用，但是DNN只能用于固定维度的输入以及输出的任务中，并且输入以及输出已知。因此，Ilya sutskever .et提出了基于LSTM模型的端到端的架构。其中用一个LSTM作为encoder，得到一个基于时间序列的向量表示，另外，用另一个LSTM网络作为decoder，从向量中...

2018-06-26 23:34:32 10005

原创 Encoder-Decoder 预训练

Encoder-Decoder模型预训练通过对Encoder-Decoder模型进行预训练能够有效的提高模型的训练效果。

2018-06-26 01:02:30 3940

原创语言模型简介

1.语言模型简介：统计语言模型是指单词序列的概率分布，假设有一个句子，长度为m，那么整个句子的概率为 p(w1,...,wn)p(w1,...,wn)p(w_1,...,w_n)，利用语言模型，可以确定哪个词序列的可能性更大，或者给定若干个词，可以预测下一个最可能出现的词语。假设给定句子：s=w1,w2,..,wks=w1,w2,..,wks=w_1,w_2,..,w_k它的概率可...

2018-06-25 23:14:43 1018

原创怎样生成一个好的词向量

一.简介本文主要是在我读过论文《How to Generate a Good Word Embedding?》后进行的总结，一下就是我总结的内容。二.综述文中指出几乎所有的词向量训练方法都基于分布式假说：在近似文本中出现的词语倾向于有着近似的意思。因此，目前存在的词向量训练方法在模型结构上分为两个方面，第一是目标词与输入文本之间的关系，第二是输入文本的表示。如下图所示： &nbs...

2018-06-16 13:42:39 4028

原创 RNN-Encoder Decoder架构中引入的注意力机制

一.简介&nbsp; &nbsp;&nbsp;注意力机制是在Encoder与Deconder架构中针对输出不同的序列（分词）在输入序列中所占权重一样，或者使用同一个C向量的不足中，引入了能够学习针对不同输出序列在不同输入序列所占的比重不同的一个机制，例如，“我喜欢足球”与“i like football”这个翻译中，‘i’这个词的翻译明显与“我”这个输入词对应，与后面“喜欢足球”的关系不大，因...

2018-06-15 22:57:22 5799

原创 LSTM变种-GRU网络结构

简介GRU是LSTM的一种变体，其将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，加诸其他一些改动。最终的模型比标准的 LSTM 模型要简单，是非常流行的变体。使用LSTM的原因之一是解决RNN Deep Network的Gradient错误累积太多，以至于Gradient归零或者成为无穷大，所以无法继续进行优化的问题。GRU的构造更简单：比LSTM少一个gate，...

2018-06-12 23:46:34 4499 11

原创 RNN与LSTM网络简述

**最近看到一个blog，对LSTM模型介绍的很全面，所以我在这里记录一下。后续会逐渐补充公式推导的部分。 **RNN关键点之一是连接先前的信息到当前的任务中，而LSTM模型是一种特别的RNN。不幸的是RNN对长期依赖信息的学习能力不足，会出现梯度消失等问题。而LSTM网络就是解决长短时的信息依赖问题。1.简介LSTM网络全称为 Long Short-Term Memory，长期短期记忆...

2018-06-10 20:42:56 5024 1

原创 pandas用法-全网最详细教程

一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as np import pandas as pd2、导入CSV或者xlsx文件：df = pd.DataFrame(pd.read_csv(‘name.csv’,header=1)) df = pd.DataFrame(pd.read_excel(‘nam............

2018-06-07 10:49:03 488443 141

转载 conda命令总结

Anaconda常用命令大全使用conda 首先我们将要确认你已经安装好了conda配置环境下一步我们将通过创建几个环境来展示conda的环境管理功能。使你更加轻松的了解关于环境的一切。我们将学习如何确认你在哪个环境中，以及如何做复制一个环境作为备份。测试python然后我们将检查哪一个版本的python可以被安装，以及安装另一个版本的python，还有在两个版本的...

2018-06-05 09:07:44 31337