文章分类
tcl890329
这个作者很懒,什么都没留下…
展开
-
调用sklearn的NB模型来实现文章分类
在上一篇文章里面,我自己手写了一个朴素贝叶斯算法(NB),进行了训练和验证,并且通过在网上随便找一篇文章进行测试,能够正确得到文章类型结果。这篇文章中,我打算采用sklearn库,直接调用NB模型进行训练和预测。1、首先加载sklearn的库;train_test_split--对数据进行分割,分成训练集和测试集。TfidfVectorizer--生成文章单词的TFIDF矩阵。MultinomialNB--sklearn的NB模型。from sklearn.model_selection impo原创 2020-10-29 15:14:14 · 731 阅读 · 0 评论 -
手写朴素贝叶斯NB算法,对文章进行分类
上篇文章写了对数据的整理和分词,接下来对整理好的数据进行训练,运用的算法先从最简单的NB算法开始,首先说下NB算法的原理。NB算法的公式P(yi|X)= P(X|yi)*P(yi)/P(X),X表示待测的一篇文章,yi表示分类标签,P(yi|X)表示这篇文章属于哪类的概率, P(X|yi)表示为指定类别下产生这篇文章的概率,P(yi)每个类别的先验概率,P(X)这篇文章存在的概率为1。根据极大似然估计,P(X|yi) =ΠP(xi|yi),xi为文章中包含的单词,P(xi|yi)表示为指定类别下文章中每..原创 2020-10-21 17:57:05 · 338 阅读 · 0 评论