开源项目
文章平均质量分 76
shange19
这个作者很懒,什么都没留下…
展开
-
nlp的一个小测试:英文作文自动评分
最近这几天研究了一下英文作文自动评分系统,记录一下。首先我很简单的利用各个文章的词频数和线性回归进行测试一下。采用内置的停用词。最大词频数量为10000.# 统计文章中每篇文章的词频def get_count_vectors(essays): vectorizer = CountVectorizer(max_features=10000, ngram_range=(1, 3),...原创 2020-01-08 18:35:38 · 3147 阅读 · 1 评论 -
MLE最大似然估计和MAP最大后验概率的区别,利用MAP思想完成词性标注。
最近一直在搞懂啥是MLE,啥是MAP。MLE,最大似然估计,优化的是,求出它的最大值,其中是参数,D是数据;MAP,最大后验概率分布,优化的是,其中是参数,D是数据,通过贝叶斯定理可以认为等价于求,其中就是MLE,是先验分布。一般来说,这样就推导完了。MAP可以认为是MLE在多加一个先验概率,即在优化之前我们所掌握的信息。然后就是千篇一律的扔硬币举例,反正现在我明白MAP与MLE之间的关系...原创 2019-12-05 21:28:22 · 689 阅读 · 1 评论 -
nlp的一些应用
1.编写一个中文分词工具2.词干提取(stemming)和词形还原(lemmatization)3.拼写纠错GitHub链接:https://github.com/shange1996/Projects-for-NLP/tree/master/spelling_correction4.问答系统GitHub链接:https://github.com/shange1996/Pro...原创 2019-11-27 20:36:49 · 259 阅读 · 0 评论