自然语言处理
文章平均质量分 74
u010105243
这个作者很懒,什么都没留下…
展开
-
神经机器翻译中的Attention机制
传统的机器翻译系统通常依赖于基于文本统计特性的复杂特征工程,需要投入大量工程大见他们。 神经机器翻译系统NMT,把一句话的意思映射到一个固定长度的特征向量,然后基于此进行翻译。由于NMT不再依赖于n-gram计数,而是捕捉文本更高层的含义。基于encoder-decoder的模型 NMT系统使用RNN将源语句(比如,一句德语)编码为一个向量,然后同样用RNN将其解码为英语。 如上图中,“Echt原创 2017-10-17 16:41:20 · 4550 阅读 · 0 评论 -
机器翻译的评价标准BLEU(Evaluation criteria for machine translation)
1.概念BLEU(bilingual evaluation understudy)在这篇论文中被提出BLEU: a Method for Automatic Evaluation of Machine Translation BLEU是一种衡量机器翻译质量的评价标准。一种对精确度修改的算法,先看一下下面的句子:2.1例子:n-gram在机器翻译译文和标准答案中出现次数不一致机器翻译的句子:The原创 2017-09-29 22:19:49 · 5061 阅读 · 0 评论 -
使用jieba分词对中文文档进行分词|停用词去重
# -*- encoding:utf-8 -*-import osimport jieba#加载停用词词典stopwordsfile = open('E:/Workspace/Python/ExamTxT/stopword.txt','r+')# 加载个人词典jieba.load_userdict('E:/Workspace/Python/ExamTxT/userdict.txt')原创 2016-11-27 11:02:53 · 34099 阅读 · 6 评论 -
机器翻译论文
(2014)Sequence to sequence learning with neural networks(2014)Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation(2015)NEURAL MACHINE TRANSLATION BY JOINTLY原创 2017-10-25 23:01:45 · 2503 阅读 · 1 评论 -
GAN与NLP的结合相关资料汇总与总结
1.记录一次与大神们的关于GAN应用于NLP的讨论(简书)http://www.jianshu.com/p/32e164883eab 总结 - 目前尝试的内容:纯文本生成,诗歌生成,唐诗生成,机器翻译,IR,中文分词,文本分类 - 主要思路:考虑使用D进行真假判别,然后用RL的policy gradient的方式来打分和更新 - 使用word2vec之类的连续向量,微调之后不能原创 2017-11-16 17:20:28 · 1427 阅读 · 0 评论