deep_learing
文章平均质量分 96
乐观的Zqq
谁在呼叫舰队
展开
-
RNN以及变体LSTM,GRU,以及Tensorflow代码
文章目录1.RNN1.1 单个RNN单元每个时间步隐藏层的计算:1.2 多个RNN单元的前向传播1.3 RNN的反向传播(单个RNN单元)1.4 RNN存在的问题1:无法运用未来的信息1.4.1 RNN的改进:双向RNN1.5 RNN存在的问题2:梯度爆炸和梯度消失2 RNN的变体2.1 LSTM (Long Short-Term Memory)长短时记忆网络2.2 BI-LSTM2.3 GR...原创 2018-12-08 16:26:18 · 3113 阅读 · 0 评论 -
【paper笔记】Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning-P18-1199-ACL
Abstract远程监督定义:定义:只要包含两个Entity的句子,都在描述同一种关系。用途:主要用来为关系分类任务扩充数据集。优点:能够很快速地为数据集打上标签缺点:它假设只要包含两个Entity的句子,都在描述同一种关系,这个假设会产生很多地错误标签。可能这两个Entity这是与某个主题有关。 因此往往还需要用一些过滤的方法去筛选出对关系分类有用的句子,比如sentence-le...原创 2019-01-15 15:51:40 · 1695 阅读 · 1 评论 -
【paper笔记】Large Scaled Relation Extraction with Reinforcement Learning-AAAI2018
Large Scaled Relation Extraction with Reinforcement Learning概述为了解决远程监督中噪声数据的问题,使用强化学习bag-level的训练对于每个bag,根据bag里的抽取的每个句子的关系来确定bag所表示的关系,然后进行强化学习训练,从而提高性能进行两种不同规模的实验,证明可以提高关系抽取器的性能1.问题1.1 大纲为...原创 2019-01-15 15:52:46 · 959 阅读 · 0 评论 -
【tranformer】转
原文标题:The Illustrated Transformer原文链接:https://jalammar.github.io/illustrated-transformer/论文地址:https://arxiv.org/abs/1706.03762前言 ...转载 2019-05-08 11:24:44 · 450 阅读 · 0 评论 -
value_based RL学习记录
强化学习使用强化学习能够让机器学着如何在环境中拿到高分, 表现出优秀的成绩. 而这些成绩背后却是他所付出的辛苦劳动, 不断的试错, 不断地尝试, 累积经验, 学习经验.根据行为来打分,不会告诉你该怎么做,而是给这个行为打分。下一次决策的时候记住那些可以得到高分的行为,进行这个行为,拿高分避免低分。RL算法们方法不理解环境 model-free根据真实世界的反馈,一步一...原创 2019-05-06 21:23:56 · 472 阅读 · 0 评论 -
【QA学习】综述学习
分类输入是否考虑历史信息单轮对话多轮对话构建方法1.检索式方法首先构建一个用于检索的数据库,将用户的输入视为对该索引系统的查询,从中选择一个回复。具体的来说,当用户在线输入语句后,系统首先初步检索,初步找回一批候选回复,然后再根据对话匹配模型进行重排序得到最佳回复。2.生成式方法而生成式的方法则源自机器翻译,收集大规模的语料,然后再建立一种端到端的模型,来学习输入和回复...原创 2019-05-15 20:36:18 · 954 阅读 · 0 评论