Word Vector的综述

历史 词向量大致经过3个时期: 最早在做检索系统,或者推荐系统时候,需要计算query和文档,或者user和文档之间的相关性,涉及到相关性,很直观的利用到了向量的欧式距离活着余弦距离。所以这个时期的向量化主要是基于整体数据的矩阵分解,使用的是整体数据的global信息。 词向量的是一个主题回...

2018-01-14 21:36:51

阅读数 2768

评论数 0

QA(三): 复杂attention机制(coattention及bi-attention)

DCN-动态共同attention网络两种模型都是类似的,不像前一篇文章介绍的soft attention机制,只是考虑query到context的attention这里两篇论文都会考虑 query 到 context 和 context到query的attention 然后得到的atten...

2017-12-17 16:04:02

阅读数 4203

评论数 0

瀑布流排序中的position偏置消除的实验

前言瀑布流排序中,用户首先看到的是前面的商品,排在前面的商品有天然的优势,用户的点击率会偏高,我们观察cpc广告的某个场景的ctr随位置的统计衰减图: 图1: 图中横坐标是排序位置,纵坐标为该位置一天的ctr大家都有个共识,实际商品表现出来的ctr和商品实际的点击质量是有偏差的,这里的偏差有很...

2017-12-15 13:42:23

阅读数 919

评论数 1

QA(二):利用Attention机制,带着问题阅读

MACHINE COMPREHENSION USING MATCH-LSTM AND ANSWER POINTER摘要本文介绍一种结合 math-LSTM 和Pointer Net利用end-end的来解决QA问题的方式模型最主要的还是 match-LSTM:有两个句子,一个是前提,另外一个是假设...

2017-12-05 21:04:32

阅读数 1489

评论数 0

Image captioning(三)-WITH ATTENTION

摘要 背景我们已经介绍了,现在我们上篇文章的基础上面引入比较流行的Attention机制 说下本篇文章的贡献: image captioning中使用同一种框架引入两种atttention机制。 可以洞察模型观察的点在哪里where, 以及观察的是什么what 代码我只会演示第二种atte...

2017-12-01 18:07:50

阅读数 1151

评论数 2

Image captioning(二)- CNN + ATTENTION

技术上来说 往粗了讲,大家听到的是:RNN,CNN,ATTENTION,Embedding 比较有名的名词。 往细了讲:卷积,max/min/avg pooling, self-attention, gated-weight,sigmod weight,softmax weight等这些具体的...

2017-12-01 17:56:24

阅读数 940

评论数 0

Image captioning-数据格式

规划: 整体内容是四块: 首先是训练和评估数据,我们选择的是微软COCO图片数据数据,后面简单会介绍数据的格式,处理方式 整体topic的主线是沿着show and tell的发展 介绍各种attention以及其他encoder机制的加成 evaluation方式及探讨应用 说明 ...

2017-12-01 17:47:59

阅读数 1411

评论数 0

QA: Dynamic Memory Networks for Natural Language Processing

摘要我们提出一种动态内存网络(DMN)的方式,来解决,输入多个描述句子和问题来生成答案的这种场景。简介Question answering (QA):根据上下文(文本,图片等),结合问题(question), 来生成答案 dynamic memory network (DMN):它是一种网络结构...

2017-12-01 14:57:49

阅读数 292

评论数 0

Attention Is All You Need

一种只基于attention机制的机器翻译

2017-11-25 14:55:04

阅读数 2755

评论数 0

tangent

这是一个python写的,可以自动求导的库。

2017-11-25 14:40:55

阅读数 289

评论数 0

Training RNNs as Fast as CNNs

摘要RNN的并行性比较差,主要因为它在计算state的时候不能并行,比如要计算输出h(t),它必须依赖于前一步的输出h(t-1),这个是并行化的瓶颈。 在这篇论文提出一种可选择的RNN结构,它的递归单元可以和卷积层一样快,是cud优化的LSTM的5-10倍。

2017-11-25 14:38:29

阅读数 183

评论数 0

Dynamic Routing Between Capsules

这个是最近比较火的Hinton关于对之前深度神经网络的质疑性论文, 大家都知道Hinton在深度学习领域的地位,那么他为什么对dnn提出质疑,甚至于最近他的演讲论文的title 是 “What is wrong with convolutional neural nets?”。我们来看下具体是什么...

2017-11-25 13:33:31

阅读数 569

评论数 0

梯度下降综述

原始论文 https://arxiv.org/pdf/1609.04747.pdf前言梯度下降算法现在变的越来越流行,但是对于使用者来说,它的优化过程变的越来越黑盒。本文我们介绍下不通梯度下降算法的习性,使得我们能够更好的使用它们。本人每次复习这篇论文,或多或少都有一些收获,基础学习扎实了,后面...

2017-11-25 12:50:38

阅读数 179

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭