EchoooZhang的博客

[NLP]N-gram-Bleu机器翻译中常用的自动评价指标是 BLEU 算法，除了在机器翻译中的应用，在其他的 seq2seq 任务中也会使用，例如对话系统。bilingual evaluation understudy ,意为双语评估替换，是衡量一个有多个正确输出结果的模型的精确度的评估指标。人工给出的译文为reference，机器翻译的译文为candidate。对于N-gram bl...

【NLP】关键词共现/属性共现矩阵【共现】理解起来无非是两个词语同时出现的频次作为一个指标，构造矩阵。矩阵的第一列和第一行都是词语列表中的所有词，因此对角线一般设置为0——即不把自己和自己共现算进去。假如矩阵为M，M【i】【j】就表示第i+1个词和第j+1个词一起在文档集合里出现了多少次，且M【i】【j】=M【j】【i】。1.构建关键词矩阵参考网上代码：感谢Python构建关键词共现矩阵...

【NLP】文本LDA主题聚类&主题词生成&可视化LDA主题聚类这是NLP中常用的一类方法，一般Sklearn，genism里有可以实现。一般结果会有文档-主题model（即说明每个文档属于某类主题的概率），概率最大则说明该文档属于该类别。以及主题-词语model，可以给出每个主题的前N个词。主要部分代码：from sklearn.feature_extraction.tex...

【NLP】Python3.7使用NLTK进行情感分析1.NLTK情感分析2.使用上的一些坑3.实战结果

【NLP】Python调用Hanlp进行NER处理HanlpHanlp是什么一些坑。。。测试一下吧！具体NER也在继续，等下一篇吧~Hanlp最近在想小论文Idea,其中有一部分想用命名实体抽取（NER），以前NLP有一定基础，这次想用新的可用的工具，以前用过斯坦福的NLP，但是据说中文效果更好的应该是Hanlp。Hanlp是Java支持的，本以为可以直接用Pyhanlp,but…(- -）一...