![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
风华明远
目前研究Tensorflow 以及 tkinter
展开
-
使用NLTK做电影评论分析
NLTK软件包包含了电影评论和分类器,可以比较容易实现电影评论的分类:正面评价还是负面评价。本文的算法使用了分句、分词、去停用词、词性标注、词性还原,而不是直接将电影评论分词后直接使用。尽管效果类似,但是这样处理更贴近实际应用情况:from nltk.corpus import movie_reviewsfrom nltk import tokenizefrom nltk.corpus import stopwordsfrom nltk import pos_tagimport nltk.clas原创 2021-04-29 14:09:27 · 1107 阅读 · 0 评论 -
nltk包下载慢的解决方案
nltk是常用的自然语言工具包。但是在下载nltk包的时候,经常会碰到无法连接的情况,尤其是使用nltk.download()图像化界面的时候。这是因为默认的服务器是基于https的,很难连接。建议使用http://www.nltk.org/nltk_data/这个服务器,直接在输入框替换就可以。替换后如下图:...原创 2021-03-17 20:06:11 · 420 阅读 · 0 评论 -
Katz平滑的实现
Katz平滑的讲解可参见:https://zhuanlan.zhihu.com/p/100256789。本文是实现了该文章的示例。具体的Katz平滑有时间会把自己的理解写一下。看代码可能会有助于理解文章的内容。import tensorflow as tfimport collectionsclass Katz(): def __init__(self): self.words_uni = collections.defaultdict(int) self.wo原创 2021-03-08 13:17:39 · 778 阅读 · 0 评论 -
tensorflow 二元模型(bigram)实现
统计语言模型N-gram中,二元模型是比较简单的。比如“this was a good movie”这句话用二元模型就可以被表示为:{this},{this was},{was a},{a good},{good movie}计算“this was a good movie”是一个句子的概率的步骤如下:P=P(this)*P(was|this)*P(a|was)*P(good|a)*P(movie|good)代码如下:import tensorflow as tfimport tensorfl原创 2021-03-04 10:32:02 · 1010 阅读 · 1 评论