NLP文本分类

基于论文摘要的文本分类与关键词抽取挑战赛:2023 iFLYTEK A.I.开发者大赛-讯飞开放平台

NLP中， 文本分类是一项基础且广泛应用的任务， 它将文本依据规则和标准划分到为特定的类别空间，并且它能够应用到多种应用场景

针对文本分类任务,可以使用使用传统的特征提取方法（如TF-IDF/BOW）结合机器学习模型，另一种是使用预训练的BERT模型进行建模。

1.什么是TF-IDF呢?
TF(Term Frequency)词频
IDF(Inverse Document Frequency)逆文档频率,表示一个词的大小与常见词的反比
假如我们需要通过计算机来找到文本的关键词如何查找呢，一般是统计出现最高词语的频率也就是TF词频。但是在统计词语的过程中通常会遇到如下问题—最高出现的词汇可能是”停用词”，如”的”，”是”，”在”，在文本当中有的词的重要性是不同的，假如我们统计词频发现这五个词的频率最高，如”中国”、”土地”、”房子”、”蜜蜂”、”养殖”，其中中国、土地这些词汇经常出现而蜜蜂、养殖等词语不常出现。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。
所以我们需要对文本词语进行一个权重处理，给蜜蜂、养殖等词语高权重，而”是”、”在”、”的”、”中国”等词语低权重等方法来处理文本。
知道了"词频"（TF）和"逆文档频率"（IDF）以后，将这两个值相乘，就得到了一个词的TF-IDF值。某个词对文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的几个词，就是这篇文章的关键词。

2.TF-IDF如何做

可以使用词频乘逆文档数来计算TF-IDF值。

3.TF-IDF的优缺点

优点：理解简单，计算简单

缺点：忽略掉了词的位置信息，词x的前后语义信息丢失.通常情况下，传统的TF-IDF算法会在计算IDF时给予一些生僻词较高的权重，这样就很容易误将这些生僻词视为文档的关键词。

使用特征提取和机器学习的流程如下：

1. 数据预处理：将文本数据进行清洗（去除特殊字符、标点符号等），并进行分词等操作。

2. 特征提取：使用TF-IDF或BOW方法将文本转换为向量表示。TF-IDF可以计算文本中词语的重要性，BOW则简单地统计词语出现的次数。

3. 构建训练集和测试集：将预处理后的文本数据划分为训练集和测试集，确保样本的分布均匀。

4. 选择机器学习模型：根据任务需求选择适合的机器学习模型，如朴素贝叶斯、支持向量机、随机森林等。

5. 模型训练和评估：使用训练集对选定的机器学习模型进行训练，然后使用测试集进行性能评估。评估指标可以选择准确率、精确率、召回率、F1值等。

6. 调参优化：如果模型的性能不满足要求，可以尝试调整特征提取的参数（如词频阈值、词袋大小等）或机器学习模型的超参数，以获得更好的性能。

这种特征提取和机器学习的方法可以避免传统TF-IDF对生僻词的偏重，并能够更准确地识别文档中的关键词。

Baseline中我们选择使用BOW将文本转换为向量表示，选择逻辑回归模型来完成训练和评估

部分代码如下：

pip install nltk
import pandas as pd

# 导入BOW（词袋模型），可以选择将CountVectorizer替换为TfidfVectorizer（TF-IDF（词频-逆文档频率）），注意上下文要同时修改，亲测后者效果更佳
from sklearn.feature_extraction.text import CountVectorizer

# 导入LogisticRegression回归模型
from sklearn.linear_model import LogisticRegression

# 过滤警告消息
from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)


# 读取数据集
train = pd.read_csv('/home/aistudio/data/data231041/train.csv')
train['title'] = train['title'].fillna('')
train['abstract'] = train['abstract'].fillna('')

test = pd.read_csv('/home/aistudio/data/data231041/test.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')


# 提取文本特征，生成训练集与测试集
train['text'] = train['title'].fillna('') + ' ' +  train['author'].fillna('') + ' ' + train['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' +  test['author'].fillna('') + ' ' + test['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')

vector = CountVectorizer().fit(train['text'])
train_vector = vector.transform(train['text'])
test_vector = vector.transform(test['text'])


# 引入模型
model = LogisticRegression()

# 开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果
model.fit(train_vector, train['label'])

# 利用模型对测试集label标签进行预测
test['label'] = model.predict(test_vector)

# 生成任务一推测结果
test[['uuid', 'Keywords', 'label']].to_csv('submit_task1.csv', index=None)