2017年12月_wendaJ

原创 QA（三）：复杂attention机制(coattention及bi-attention)

DCN-动态共同attention网络两种模型都是类似的，不像前一篇文章介绍的soft attention机制，只是考虑query到context的attention这里两篇论文都会考虑 query 到 context 和 context到query的attention 然后得到的attention回和原始的encoder向量进行作用，得到修正后的query和context的修正矩阵然后这些修

2017-12-17 16:04:02 19149

原创瀑布流排序中的position偏置消除的实验

前言瀑布流排序中，用户首先看到的是前面的商品，排在前面的商品有天然的优势，用户的点击率会偏高，我们观察cpc广告的某个场景的ctr随位置的统计衰减图：图1: 图中横坐标是排序位置，纵坐标为该位置一天的ctr大家都有个共识，实际商品表现出来的ctr和商品实际的点击质量是有偏差的，这里的偏差有很大的因素是有展现的位置引起的如何消除位置偏置不同的场景要求不一样，实验分两个场景进行bid* ctr

2017-12-15 13:42:23 4123 3

MACHINE COMPREHENSION USING MATCH-LSTM AND ANSWER POINTER摘要本文介绍一种结合 math-LSTM 和Pointer Net利用end-end的来解决QA问题的方式模型最主要的还是 match-LSTM：有两个句子，一个是前提，另外一个是假设，match-LSTM序列化的经过假设的每一个词，然后预测前提是否继承自假设。简单的说：带着问题去阅读原

2017-12-05 21:04:32 2564

原创 Image captioning(三)-WITH ATTENTION

摘要背景我们已经介绍了，现在我们上篇文章的基础上面引入比较流行的Attention机制说下本篇文章的贡献：image captioning中使用同一种框架引入两种atttention机制。可以洞察模型观察的点在哪里where, 以及观察的是什么what代码我只会演示第二种attention 机制模型image encoder 第一层还是卷积层来处理图像信息，但是

2017-12-01 18:07:50 2288 2

原创 Image captioning(二)- CNN + ATTENTION

技术上来说往粗了讲，大家听到的是：RNN，CNN，ATTENTION，Embedding 比较有名的名词。往细了讲：卷积，max/min/avg pooling, self-attention, gated-weight，sigmod weight，softmax weight等这些具体的技术细节可能在你构建graph的时候都会或多或少的使用，万变不离其宗，熟悉使用这些东西，后面在遇到各种

2017-12-01 17:56:24 2820

原创 Image captioning-数据格式

规划：整体内容是四块：首先是训练和评估数据，我们选择的是微软COCO图片数据数据，后面简单会介绍数据的格式，处理方式整体topic的主线是沿着show and tell的发展介绍各种attention以及其他encoder机制的加成evaluation方式及探讨应用说明代码使用tensorflow，最好升级到1.4，历史版本有很多算子是不支持GPU运算的。有些基础

2017-12-01 17:47:59 2231 1

翻译 QA： Dynamic Memory Networks for Natural Language Processing

摘要我们提出一种动态内存网络(DMN)的方式，来解决，输入多个描述句子和问题来生成答案的这种场景。简介Question answering (QA)：根据上下文(文本，图片等)，结合问题(question), 来生成答案 dynamic memory network (DMN)：它是一种网络结构，处理的是(context_input-querstion-answer)这样的三元组。 inputs

2017-12-01 14:57:49 615

chazhongxinbitc的博客