NLP
binqiang2wang
这个作者很懒,什么都没留下…
展开
-
Deep Reinforcement Learning for Dialogue Generation
Deep Reinforcement Learning for Dialogue Generation任何好理解,就是生成对话,之前采用最大似然来优化这个问题,会存在以下问题:生成的最后开始变得毫无意义,作者想利用增强学习来缓解这一点。有关为什么用Policy Gradient不用Q-Learning,作者是这样解释的:按照我对两种强化学习的理解,q-learning是最大化q值,a...原创 2020-01-15 21:43:37 · 325 阅读 · 0 评论 -
stop words-- NLP
stop words是指自然语言处理当中会被过滤掉的一些单词,一般是指无意义的定冠词,不定冠词(a,an,the), 连接词(of,but...),这个并没有统一的标准,而是针对具体的任务和文档来说,那些高频经常出现的词语因为对具体任务来说其实没有帮助(比如文档分类,几乎每个文档都有上面提到的词语,对分类没有任何帮助),所以在处理的时候会去掉这些单词,来提升针对性任务的结果。虽然没有统一的stop原创 2018-01-18 11:23:57 · 2742 阅读 · 0 评论 -
python LDA (Latent Dirichlet Allocation)实例讲解
LDA(Latent Dirichlet Allocation)是一种文档主题生成模型,也称为一个三层贝叶斯概率模型,包含词、主题和文档三层结构。所谓生成模型,就是说,我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题,并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布,主题到词服从多项式分布。以上,摘自百度百科。 下面用一个例子来讲解实现,贴代码,注释相对...原创 2018-01-20 22:47:12 · 13056 阅读 · 2 评论 -
image caption generation系列博文整理
这里只是简单整理一下image caption generation相关资料的出处,首先整理出自己在知乎上相关问题的回答: 现在的计算机视觉:图像字幕(image caption)领域发展到什么程度了呢? 个人觉得刚起步没多久,当然,也可能是本人知识水平有限。从我浅薄的认识来看,image caption的问题从传统的分类问题一脉相承过来的,简单的二分类任务,之后有了多分类任务,在这个基础上,...原创 2018-03-26 16:20:58 · 4755 阅读 · 0 评论 -
cvpr 2018 image caption generation论文导读(含workshop)
搜索链接(基本的知识搜索能力我觉得还是必要学习的,拒绝伸手党。)Image Caption Generation with Hierarchical Contextual Visual Spatial Attention这个是workshop研讨的一篇论文,虽然没有中正刊,但是工作量的确是有的。 主要是提出一种基于上下文的注意力机制的网络。使用了双向的网格LSTM,用特征图作为输入,然后...原创 2018-07-06 22:47:45 · 7172 阅读 · 2 评论 -
nltk.download('punkt') False
下面是使用NLTK进行分词,然后去除stop_words的操作,但是运行的时候,提示需要下载punkt。from nltk.corpus import stopwordsfrom nltk.tokenize import word_tokenizeexample_sent = "This is a sample sentence, showing off the stop words f...原创 2018-08-11 20:50:34 · 22506 阅读 · 34 评论 -
关于图像描述任务中潜在状态形式的重新思考
英文论文信息B. Dai, D. Ye, and D. Lin, “Rethinking the Form of Latent States in Image Captioning,” in proceedings of European Conference on Computer Vision, 2018.摘要:RNN及其变体已被广泛用于图像描述。在RNN中,描述的产生是由一个潜在状态的序...原创 2018-12-21 09:23:49 · 1222 阅读 · 0 评论 -
使用预训练的word2vec词向量
使用预训练的word2vec词向量上面的链接写的很清楚,但是代码不知道为啥不能直接用,解码方式有问题,我是在官网论坛里找到了相关帖子,下面贴出相关代码,主要是一个解码的方式修改:#f = open('GoogleNews-vectors-negative300.bin','rb')import numpy as npi=0word_vecs = {}pury_word_vec = []...转载 2019-07-10 16:26:53 · 3334 阅读 · 0 评论 -
文本+视觉资料
文本+视觉,多篇 Visual/Video BERT 论文介绍 XLM — Enhancing BERT for Cross-lingual Language ModelACL 2019 | 理解 BERT 每一层都学到了什么BERT – State of the Art Language Model for NLP从Word Embedding到Bert模型—自然语言处理中的预训练技术发...原创 2019-09-05 15:12:01 · 332 阅读 · 0 评论