SnowNLP使用自定义语料进行情感分类模型训练

AI算法攻城狮

于 2024-03-05 20:10:58 发布

阅读量1.9k

点赞数 29

文章标签：人工智能 nlp

本文链接：https://blog.csdn.net/jxq0816/article/details/136487563

版权

SnowNLP是什么？

SnowNLP是一个功能强大的中文文本处理库，它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能，像隐马尔科夫模型、朴素贝叶斯、TextRank等算法均在这个库中有对应的应用。

官方源码文档是这样写的：

SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。注意本程序都是处理的unicode编码，所以使用时请自行decode成unicode。

简而言之就是：SnowNLP是一个Python写的类库，而且是针对中文的自然语言处理库。

主要功能有：

中文分词（Character-Based Generative Model）
词性标注（TnT 3-gram 隐马）
情感分析（现在训练数据主要是买卖东西时的评价，所以对其他的一些可能效果不是很好，待解决）
文本分类（Naive Bayes）
转换成拼音（Trie树实现的最大匹配）
繁体转简体（Trie树实现的最大匹配）
提取文本关键词（TextRank算法）
提取文本摘要（TextRank算法）
tf，idf
Tokenization（分割成句子）
文本相似（BM25）
支持python3

因为SnowNLP本身使用的语料是电商网站评论，所以，当我们面对不同的使用场景时，它自带的这个模型难免会出现"水土不服"”。因此，如果我们希望得到更接近实际的结果，最好的方案是使用自定义语料进行模型训练。值得庆幸的是，这一切在SnowNLP中实施起来非常简单，并不需要我们去钻研那些高深莫测的算法。至此，就引出了今天这篇博客的主题，即使用自定义语料进行情感分类模型训练。

SnowNLP计算出的情感分数表示语义积极的概率，越接近0情感表现越消极，越接近1情感表现越积极。

我们先来看看如果不重新训练模型，直接使用原生的snownlp结果是什么样的

#SnowNLP基于经典机器学习的贝叶斯算法
from snownlp import SnowNLP
print('"这首歌真难听"的情感得分是：',SnowNLP("这首歌真难听").sentiments)
print('"今天天气真好啊"的情感得分是：',SnowNLP("今天天气真好啊").sentiments)

从结果我们以看出，第一个明显是消极评分，结果确实0.79，明显不符合。第二个也一样，是积极情感，评分也不高。所以我们需要训练自己的情感分析模型才能得出我们想要的结果。

训练模型

关于如何训练情感分析模型的方法有很多，包括基于词典/规则、机器学习、snownlp。本次就讲解最容易上手的snownlp来训练模型。

首先提前准备好消极和积极情感的文本，分别为neg.txt和pos.txt。

# 训练
from snownlp import sentiment
sentiment.train('neg.txt', 'pos.txt')
sentiment.save("sentiment.marshal")

运行之后在同目录下会生成一个sentiment.marshal.3的文件。

接着来到你snownlp的路径下：

这里建议你备份一下原生的sentiment.marshal.3文件，然后将刚才得到的sentiment.marshal.3文件替换这里的sentiment.marshal.3即可。

接下来我们重新运行上面的测试代码，结果如下：

此时，我们明显看见了随着模型的改变，效果明显发生变化，模型准确度提高。

测试模型

前面我们已经训练了自己的语料库，得出了模型。接着我们用测试数据来检测模型的准确率。

# 测试模型效果，导入测试数据
import pandas as pd
data_test = pd.read_excel("test.xlsx")
data_test.head()

sentiment是人工标记的情感标签。

s = []
for c in data_test['comment']:
    score = SnowNLP(c).sentiments
    if score>=0.5:
        s.append(1)
    else:
        s.append(0)
count = np.sum((s == data_test['sentiment'])==1)
print('准确率为：',count/len(data_test))