Ezail的博客

Part I：背景Part II：训练模式（CBOW，Skip Gram）Part III：优化方法（Negative Sampling，Hierarchical SoftMax）Part IV：词向量衡量指标参考论文：Word2vec Parameter Learning ExplainedPart I：背景特征表达是很基础也很重要的一步，我们通常需要用一个向量去表示一个...

今天开始整理一些之前看过的论文，一是复习巩固基础，二是可以回过头来想一想有没有新的理解。论文链接：Siamese Recurrent Architectures for Learning Sentence SimilarityLearning Text Similarity with Siamese Recurrent NetworksSiamese Recurrent，中文名叫孪...

ESIM，简称 “Enhanced LSTM for Natural Language Inference“。顾名思义，一种专为自然语言推断而生的加强版 LSTM。至于它是如何加强 LSTM，请继续往下看：Unlike the previous top models that use very complicated network architectures, we first dem...

继续整理之前看过的论文，这一次看又明白了很多之前没有细究的问题，也参考了不少资料，昨晚看high了看到了2点多，学习大概就是这样一个过程吧。参考代码：https://github.com/Njust-taoye/transformer-tensorflow感谢开头先说创新点：提出self-attention，自己和自己做attention，使得每个词都有全局的语义信息（长依赖）： ...

问题介绍：Natural language inference,自然语言推断。其实就是文本蕴含任务(text entailment)，任务的形式是：给定一个前提文本（premise），根据这个premise去推断假说文本（hypothesis）与premise的关系，一般分为蕴含关系（entailment）和矛盾关系（contradiction），蕴含关系（entailment）表示从prem...

1.背景DSSM是Deep Structured Semantic Model的缩写，即我们通常说的基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。2. DSSM2.1简介...