liuyuemaicha的专栏

what is zero-shot learning zero-shot learning 是为了能够识别在测试中出现，而在训练中未遇到过的数据类别。例如识别一张猫的图片，但在训练时没有训练到猫的图片和对应猫的标签。那么我们可以通过比较这张猫的图片和我们训练过程中的那些图片相近，进而找到这些相近图片的标签，再通过这些相近标签去找到猫的标签。（个人认为zero-shot learning应该属于迁移

问: 有一点不太明白 想请教：MRF和CRF看起来好像就是p(x,y)和p(y|x)的差别，为什么他们两个模型的应用差距那么的大呢？MRF广泛运用在各种领域，CRF大部分都用的linear答： 忽略掉生成模型和判别模型的差别，如果只是给定了观测变量X要计算隐变量Y的概率话，而不需要生成一个新的样本的话，MRF和CRF确实是一样的。很多论文里用MRF，其实就是把MRF当成CRF用的，所以你说他们用

该论文提出了基于最大互信息（Maximum Mutual Information—MMI）的期望计算思想。传统的生成模型计算方式是：target = argmax（logP（T|S）），即在source给定的条件下，寻找出最大概率的target。 这样的计算方式所带来的问题是会生成一般性的，具有大概率事件的target，失去了target的多样性。 由互信息公式得： 该论文基于MMI思想，提出

论文链接： https://arxiv.org/pdf/1612.01627.pdfPaper总结笔记： 论文提出了一个基于检索的多轮闲聊架构 闲聊模型一般分为生成模型和检索模型，目前关于检索模型的闲聊还停留在单轮对话中，本文提出了基于检索的多轮对话闲聊。 多轮对话不仅要考虑当前的问题，也要考虑前几轮的对话情景。多轮对话的难点主要有两点：1.如何明确上下文的关键信息（关键词，关键短语或关键

Dual Learning解决的问题： 带标签的训练数据少且高昂的成本，尽可能的利用无标签数据Dual Learning 思想 Dual Learning在NMT中的应用 1.算法思想 2.负例 3.正例 4.实验设置（需要先预训练） Dual Learning的扩展（可以扩展到多个有联系的模型） 自编码中Dual Learning的思想 GAN中Dual Learnin

文章一《Neural Relation Extraction with Selective Attention over Instances》 该论文中提到的Distant supervised是一种弱监督形式，作用是在Relation Extraction中可以从未标注的Knowledge Bases（KBs）语料中自动生成训练数据，定义由 (Mintz et al., 2009) 提出，dis

1. tf.mul(a,b) 和 tf.matmul(a,b)tf.mul(a,b) 这里的矩阵a和矩阵b的shape必须相等 tf.mul()是矩阵的element-wise相乘（即Hadamard乘积） tf.matmul(a,b) 这里的矩阵a和矩阵b的shape应是a的行数对等与b的列数，tf.matmul()是矩阵的一般相乘。例子： a=tf.get_variable(“a”, [2,

GAN作为生成模型的一种新型训练方法，通过discriminative model来指导generative model的训练，并在真实数据中取得了很好的效果。尽管如此，当目标是一个待生成的非连续性序列时，该方法就会表现出其局限性。其中最重要的原因是在非连续序列中很难传递来自discriminative model对于generative model的gradient update。另外，discr

Adversarial Learning for Neural Dialogue Generation文献的重点翻译和总结

原文：《End-To-End Memory Networks》

自己在这近三个月的深度网络学习中的一点小感悟，希望对自己的后面学习和实验能有所启发。

小记：前些天导师让我给大家介绍下深度学习。做了几页PPT，做了个小介绍。

原文：https://arxiv.org/pdf/1702.01932.pdf 原论文的主要内容翻译与总结摘要Neural network 模型已经可以进行很自然的对话交互了。但目前来看，这些模型在基于任务的对话中并没有通过吸取其他形式的真实信息或背景实体（entity-grounded）观点来增强它们的服务水平。该论文就提出来一种新颖的，完全有数据驱动的，并且基于背景知识（knowledge-g

总结自《SentimentAnalysis-and-OpinionMining》第一章1.2.1情感分析的不同分析层次 根据目前的研究现状，一般可以将情感分析调查分为三个主要层次 一、文本文档层次：该层次是判断评论的整体情感态度，从整体看是积极、消极还是中立的态度。不过这一层次的分析是基于假设每篇文档都是阐述关于一个单一实体的观点；不适用于评价或比较多个复杂的实体。 二、语句级别层次：该层次的

最近看完了一篇论文《Adaptive Computation Time for Recurrent Neural Networks》，目前正在做相关实验，先把总结的PPT贴出来分享下，后面有时间再详细总结下吧。也可参考我之前翻译的一篇博文：RNN的四种代表性扩展—Attention and Augmented Recurrent Neural Networks（二） 里面有关于“Adaptive

原文：Learning Through Dialogue Interactions 作者： JiweiLi,AlexanderH.Miller,SumitChopra,Marc’AurelioRanzato,JasonWestonAbstract一个好的对话agent是可以和用户进行交互的。在本工作中，我们探索着设计了一个模拟器并合成一个电影领域的任务集合，让learner和teacher进行问

原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（一）5. Convolutional Neural Ne

原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（二）当我们听到CNNs时，我们一般会想到计算机视觉（comp

这是RNN扩展的后两种介绍。接 Attention and Augmented Recurrent Neural Networks（一）Adaptive Computation Time（自适应计算时间）Standard RNNs do the same amount of computation each time step. This seems unintuitive. Surely, one

看到一片不错的文章，按着自己的理解翻译的，水平有限，难免会有错误，各路大牛看到后感谢指出！Attention and Augmented Recurrent Neural Networks（二）作者：CHRIS OLAH Google Brain SHAN CARTER Google Brain 原文：http://distill.pub/2016/augment