nlp学习笔记

TF-IDF提取

IDF（逆向文件频率）的主要思想是：如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。TDF的计算公式为： 

 

基于BOW提取

 

停用词

停用词（Stop Words）是在自然语言处理中用于过滤常见无关词语的工具。它们通常是在文本处理过程中被排除的常见功能词，如介词、连词、冠词、助词等。去除停用词可以提高文本特征的质量，降低噪声对模型的影响。选择合适的停用词列表有助于提升模型性能和结果解释力。

 

stops =[i.strip() for i in open(r’stop.txt’,encoding=‘utf-8’).readlines()] 

代码将生成一个名为"stops"的列表，其中包含了从"stop.txt"文件中读取的每行内容（去除空白字符后的字符串）。这个列表可以在后续的代码中使用，例如用作停用词列表来过滤文本数据中的无关词语。

vector = CountVectorizer(stop_words=stops).fit(train['text'])

生成一个名为vector的CountVectorizer对象，并通过对训练数据的文本内容进行拟合，提取特征并构建词频矩阵。这个词频矩阵可以用于后续的文本分析任务，例如文本分类或聚类。

划分数据集

数据集	说明
训练集	用于训练机器学习模型的数据集
验证集	用于选择最佳的模型和调整超参数的数据集
预测集	最终用来评估模型性能和进行预测的数据集

from sklearn.model_selection import train_test_split

# 该函数将会根据给定比例将数据集划分为训练集与验证集
trian_data, eval_data = train_test_split(data, test_size = 0.2)
# 参数 data 为总数据集，可以是 DataFrame 类型
# 参数 test_size 为划分验证集的占比，此处选择0.2，即划分20%样本作为验证集 

baseline

# 导入pandas用于读取表格数据
import pandas as pd

# 导入BOW（词袋模型），可以选择将CountVectorizer替换为TfidfVectorizer（TF-IDF（词频-逆文档频率）），注意上下文要同时修改，亲测后者效果更佳
from sklearn.feature_extraction.text import CountVectorizer

# 导入LogisticRegression回归模型
from sklearn.linear_model import LogisticRegression

# 过滤警告消息
from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)


# 读取数据集
train = pd.read_csv('/home/aistudio/data/data231041/train.csv')
train['title'] = train['title'].fillna('')
train['abstract'] = train['abstract'].fillna('')

test = pd.read_csv('/home/aistudio/data/data231041/testB.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')


# 提取文本特征，生成训练集与测试集
train['text'] = train['title'].fillna('') + ' ' +  train['author'].fillna('') + ' ' + train['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' +  test['author'].fillna('') + ' ' + test['abstract'].fillna('')

vector = CountVectorizer().fit(train['text'])
train_vector = vector.transform(train['text'])
test_vector = vector.transform(test['text'])


# 引入模型
model = LogisticRegression()

# 开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果
model.fit(train_vector, train['label'])

# 利用模型对测试集label标签进行预测
test['label'] = model.predict(test_vector)
test['Keywords'] = test['title'].fillna('')
test[['uuid','Keywords','label']].to_csv('submit_task1.csv', index=None)

使用词袋模型：代码中使用了词袋模型（Bag-of-Words，BOW）来提取文本特征。词袋模型将文本表示为文档中词语的频率向量，忽略了词语出现的顺序和语法结构，仅关注词汇的重要性。这种简单的表示方法适用于许多文本分类任务，特别是在处理较大规模的文本数据时。

使用逻辑回归模型：代码使用了逻辑回归模型进行分类任务。逻辑回归是一种常用的分类算法，适用于二分类问题。它通过将线性回归模型的输出映射到[0, 1]区间，并使用一个阈值来预测样本的类别。逻辑回归具有计算效率高、模型解释性好等优点，在文本分类中经常被使用。

特征拼接：代码将标题、作者、摘要和关键词等信息拼接成一条文本，形成了多模态的特征表示。通过将不同类型的信息进行组合，可以捕捉到更丰富的语义和上下文信息，提高分类模型的性能。

数据预处理：代码中对缺失的文本数据进行了处理，将缺失值替换为空字符串。这是为了确保特征提取和分类模型的输入数据具有一致的格式和完整的信息。

参数调优：代码中可以通过修改CountVectorizer和LogisticRegression的参数来进行调优，以获得更好的分类性能。例如，可以通过调整词袋模型的最大特征数、停用词列表等参数，以及逻辑回归模型的正则化参数和优化算法等参数，来优化模型的性能。

资料引用

官方教程：AI夏令营第三期 - 基于论文摘要的文本分类与关键词抽取挑战赛教程 - 飞书云文档 (feishu.cn)

比赛链接：

2023 iFLYTEK A.I.开发者大赛-讯飞开放平台 (xfyun.cn)