![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
项目经验
将在处理项目问题中用到的知识和遇到的经历记录下来
工藤旧一
小米公司 搜索算法工程师
展开
-
论文阅读:End-To-End Memory Networks
论文阅读:End-To-End Memory Networks一、Abstract这是Facebook在Memory networks之后提出的一个更加完善的模型,《Memory networks》中I和G模块并未进行复杂操作,只是将原始文本进行向量化并保存,没有对输入文本进行适当的修改就直接保存为memory。所以O和R模块承担了主要的任务,但是从最终的目标函数可以看出,在O和R部分都需要监督,也就是我们需要知道O选择的相关记忆是否正确,R生成的答案是否正确。这就限制了模型的推广,太多的地方需要监督原创 2020-06-10 16:59:21 · 562 阅读 · 0 评论 -
论文阅读:Memory Network
论文阅读:Memory Networks(Facebook. 2014)一、Abstract开篇点题——现有问题:传统的深度学习模型(RNN、LSTM、GRU等)使用hidden states或者Attention机制作为他们的记忆功能,但是这种方法产生的记忆太小了,无法精确记录一段话中所表达的全部内容,也就是在将输入编码成dense vectors的时候丢失了很多信息。所以本文就提出了一种可读写的外部记忆模块,并将其和inference组件联合训练,最终得到一个可以被灵活操作的记忆模块。二、Int原创 2020-06-09 16:05:20 · 334 阅读 · 0 评论 -
论文阅读:Sequence to Sequence Learning with Neural Networks
论文阅读:Sequence to Sequence Learning with Neural Networks一、Abstract先提DNN的缺点:不能用于将序列映射到序列。于是这篇论文以机器翻译为例,首先通过一个多层的LSTM将输入的语言序列(源序列)转化为特定维度的向量,然后另一个深层LSTM将此向量解码成相应的另一语言序列(目标序列)。网上的一种理解:假设要将中文翻译成法语,那么首先将中文作为输入,编码成英语,然后再将英语解码成法语。这种模型与基于短语的统计机器翻译(Static Machi原创 2020-06-07 15:11:10 · 850 阅读 · 0 评论 -
与LSTM有关的论文总览
在学习LSTM的时候,查阅了很多论文,将其分类整理于此,便于一些新学习LSTM的人据此寻找自己需要的论文。(都是一些经典论文,不包含前沿论文)1、序列预测问题Sequence on Wikipedia.On Prediction Using Variable Order Markov Models, 2004.Sequence Learning: From Recognition and Prediction to Sequential Decision Making, 2001.Chapte原创 2020-06-06 19:55:48 · 6911 阅读 · 0 评论 -
Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling论文阅读
《Long Short-Term Memory Recurrent Neural Network Architecturesfor Large Scale Acoustic Modeling》论文阅读及补充文章目录一、Abstractkey word二、Introduction三、网络结构1、传统LSTM2、Deep LSTM四、序列问题1、序列预测2、序列分类3、序列生成4、序列到序列的预测五、对LSTM的补充1、LSTM网络2、LSTM权重3、LSTM门4、LSTM的限制一、Abstract1、原创 2020-06-06 10:20:48 · 1067 阅读 · 0 评论 -
如何离线安装python的库?
有时候需要用服务器进行一些操作,但是有些服务器不能联网,于是需要的一些包像tensorflow之类的只能进行离线安装。记录一下操作过程:1、首先是下载相应的whl文件提供几个下载地址:https://pypi.doubanio.com/simple/tensorflow/https://www.lfd.uci.edu/~gohlke/pythonlibshttps://pypi.org/project/2、将下载好的文件放到服务器一个你自己选择的文件夹下,比如E:\zidingyi3、打开命原创 2020-05-11 18:26:15 · 793 阅读 · 0 评论 -
欧式距离与曼哈顿距离的区别以及曼哈顿距离的应用
欧氏距离就是我们最常用的两点之间的直线距离。以二维空间为例,两点(x1,y1),(x2,y2)之间的欧式距离为:曼哈顿距离则表示两个点在标准坐标系上的绝对轴距之和。还是以二维空间为例,两点(x1,y1),(x2,y2)之间的曼哈顿距离为:用一张图来区分一下两者图中绿线是欧氏距离,红线是曼哈顿距离,蓝线和黄线等价于曼哈顿距离。为什么要提出曼哈顿距离呢?——为了简化计算。曼哈顿距...原创 2020-03-29 09:30:18 · 7291 阅读 · 1 评论 -
论文阅读(DRQN):Deep Recurrent Q-Learning for Partially Observable MDPs
简单概括该文:a、创新之处:提出QRQN结构:DQN+LSTMb、创新原因:DQN有两个缺陷——1、经验池内存有限制;2、每个决策点都需要完整的游戏界面。c、改动措施:将DQN的第一个全连接层换成LSTM网络Introduction:DQN只取了过去四帧(即四张图)作为输入,而如果游戏需要四帧以上的记忆,则将出现部分可观测马尔科夫性(Partially-Observable Markov...原创 2020-03-14 15:30:58 · 1238 阅读 · 0 评论 -
LSTM:tf.nn.dynamic_rnn的输出outputs和state含义
在上一篇博客中详细地介绍了tf.nn.dynamic_rnn这个函数的参数和作用,接下来就来介绍一下改参数的两个输出outputs和state的具体含义。outputs和state的关系直接了当地说便是:outputs是最后一层每个step的输出,states是每一层的最后那个step的输出。一、先来看一下tf.nn.dynamic_rnn的定义:tf.nn.dynamic_rnn( ...原创 2020-03-20 15:09:07 · 953 阅读 · 0 评论 -
LSTM:tf.nn.dynamic_rnn的参数和作用(Tensorflow)
在构建LSTM网络,要用到很重要的一个函数tf.nn.dynamic_rnn,今天就来介绍一下该函数的参数和作用。先来看一下tf.nn.dynamic_rnn的定义:tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, para...原创 2020-03-19 22:37:48 · 1963 阅读 · 0 评论