独钓寒江雪

整体架构图：ps:   解释softmax函数， 以下部分均搬自知乎（https://www.zhihu.com/question/23765351）*（一）看名字就知道了，就是如果某一个zj大过其他z,那这个映射的分量就逼近于1,其他就逼近于0，主要应用就是多分类，sigmoid函数只能分两类，而softmax能分多类，softmax是si

两篇不错的论文解读博客http://www.algorithmdog.com/fast-fasttexthttps://heleifz.github.io/14732610572844.htmlgithub 传送门：https://github.com/facebookresearch/fastText

2017ACL 论文 作者有来自MSRA的 chatbot 中利用到多轮对话中上下文信息，答案是检索得到的，文章重点在讲如何对多轮对话上下文信息进行建模，答案候选抽取不是重点。一个示例，比如在下图中两个候选中选哪个？显然应该是候选1，有上下文信息。 模型架构 实现结果 语料： 1. Ubuntu Corpus[1] 2. Douban Conversation Corpus文章的语料与

这是google放在arvix上的一篇论文，写得是非常轻松随意，模型也很简洁，结果自称Modest。对话只做到了一问一答，没有做到多轮，采用了两层LSTM进行建模，4096 cells大小，100K words， 到输出层的时候将4096 cells投影到2048 units。(OpenSubtitles dataset 上的配置，在另外一个小数据集上，cell的大小会变得小一点)模型： 在推理时

采用拷贝与检索机制在序列预测的模型中生成自然语言的问题答案为了生成自然语言答案，现有的方法通常利用一些了的NLP tools与归纳模板，这种方式覆盖度低，难以应对丰富的语言现象，文章将问答看做端到端的学习问题，在应对问答时，通过分析问题、在知识库中检索来生成连贯的正确地答案。在解码阶段，不同于机器翻译，预测词并非都来自设定好的词表，而是分别来自词表、问题本身以及知识库，通过在网络中结合问句与知识库的

Neural Machine Translation By Jointly Learning To Align and Translate二作与三作 Universite de Montreal 鼎鼎有名的蒙特利尔大学，最后一位 Yoshua Bengio. 该文章的引用量： 1478这篇文章在神经网络 采用编码-解码RNN 做端到端的机器翻译的基础上，使得模型可以在预测下一个词的时候，自动地

昨天刚学习了在 RNN encode-decode编解码框架上的进行Attention的工作，今天就看到了这篇，只有Attention是你需要的，RNN 序列串的建模根本不是重要的。好，开始读论文。 Ashish Vaswani等 Google Brain，作者单位中还有多伦多大学的，六位作者都是一作？哈。摘要：当前主流的序列建模是在复杂的RNN与CNN的框架之上的，（值得注意的是这篇文章把CN

论文github地址   值得阅读与一试：  https://github.com/facebookresearch/fairseq以往谈到sequence  to sequence，往往会下意识地想到 RNN， 但这篇文章告诉我们，CNN 不仅可以做 sequence to sequence，不仅在大规模机器翻译的训练数据上结果比 RNN 要好，而且模型更加易于优化与加速。好，下面开

6.9日 :  听了前瞻实验室毕业生经验交流分享，师兄师姐所做的研究很扎实，干货很多，所以在周末就读了一篇做计算机视觉的博士师姐的文章。论文初读，理解错了忘指正。文章题目： Enhancing Video Event Recognition Using Automatically Constructed Semantic-Visual Knowledge Base文

论文作者：Minh Tang Luon (Stanford University) Iiya Sutskever (Google) Quoc V.Le (Google) Orial Vinyals (Google) Wojciech Zaremba (New York Univerity) 这篇论文一看就感觉是一个很好的研究工作，对一个很具体又很重要的问题展开。摘要文章的方法是在经过对齐算

Effects of Language Modeling and its Personalization on Touchscreen Typing Performance很显然，这篇论文提出的是输入法的评价标准。这篇论文研究的问题： We describe a closed-loop, smart touch keyboard (STK) evaluation

文章的主要思想即采用 lstm 的网络架构进行手势识别的解码，loss 采用的是CTC loss。   滑动输入的特征，即LSTM的输入是什么？             Contain ： （x， y）  position,  time since last gesture and gesture type (move, up, down).   Features：

作者Ziang Xie, Anand Avati, Naveen Arivazhagan, Dan Jurafsky, Andrew Y. Ng Computer Science Department, Stanford University摘要针对不同类型的自动纠错分类器已经可以取得比较高的准确度，但是不足以处理冗余与搭配不当这样的错误。鉴于基于短语的翻译模型不是针对拼写错误与否来进行的，所以文

计算语言学与深度学习  作者是语言学家：  克里斯托弗·D·曼宁   （Christopher D.Manning)有时候文章读后不写点笔记感觉跟没读一样，所以以后读完论文以后觉得有收获的点都记下来吧。深度学习与机器学习大牛们的观点：Yann LeCun :  深度学习的下一个重要目标是自然语言的理解，这将让机器不只具有理解单个字词的能力，还将具备理解句子与段落的能力。

这是一篇采用GAN的思路应用在机器翻译的文章，文章发表单位包括微软亚洲研究院G  生成式网络采用的架构是  RNNSearch Model 【Bahdanau et al.,2014】, RNN 编码解码框架并且带注意力机制。【1】D  CNN   （这个网络架构来试试文本匹配似乎也很合理） 训练方法： 采用增强学习的策略更新方式，具体原理还没有弄清楚待继续

接下来要开始阅读输入法相关的论文了。特别希望有相关研究的朋友一起讨论哈！那就从这篇开始。Effects of Language Modeling and its Personalization on Touchscreen Typing Performance（待续，只阅读了前言部分）1.  评价问题：LM 内在的评价方法 如 perplexity 不一定对下层的应用有效，

总算是把卡方检验的思想看懂了用来判断概率分布X与Y是否有关。所以在文本特征选择中，有如下的计算公式：