基于论文摘要的文本分类与关键词抽取挑战赛

7月22日学习笔记

一、赛题解析：

比赛链接
这个赛题涉及两个实践任务：
1.判断论文是否属于医学领域的文献：
这是一个文本二分类任务。机器需要根据论文的标题、摘要、作者等信息，判断该论文是医学领域的文献还是非医学领域的文献。

2.提取论文关键词：
这是一个文本关键词识别任务。机器需要从论文的标题、摘要、作者等信息中识别并提取出与论文内容相关的关键词。

3.数据集解析：
训练集和测试集数据以CSV格式文件给出。数据集包含多个字段：标题（Title），作者（Author），摘要（Abstract），关键词（Keywords） - 用于任务2的标签，标签（Label） - 用于任务1的标签，表示论文是否属于医学领域的文献。可以使用Python的pandas库来读取训练集和测试集的数据。
这两个任务可以使用自然语言处理（NLP）技术来处理和解决。对于任务1，可以使用文本分类模型，如逻辑回归、支持向量机、或者深度学习模型如循环神经网络（RNN）或卷积神经网络（CNN）。对于任务2，可以使用序列标注模型，如条件随机场（CRF）或者使用Transformer-based模型，如BERT或GPT进行关键词提取。

为了解决这两个任务，还需要对文本数据进行预处理，如分词、去除停用词和特殊字符等。同时，为了提高模型的性能，可以尝试数据增强技术、调优超参数和模型融合等方法。

实践思路：
本赛题涉及两个子任务：文本二分类（判断论文是否属于医学领域的文献）和文本关键词提取。下面是针对任务一（文本二分类）的实践思路和基线（Baseline）方法：

1. 数据预处理：对论文标题、摘要和作者等文本数据进行预处理，包括文本清洗（去除特殊字符、标点符号等）和分词操作。
2. 特征提取：使用传统的文本特征提取方法，如TF-IDF（词频-逆文档频率）或BOW（词袋模型），将文本转换为向量表示，以便机器学习模型能够处理。
3. 构建训练集和测试集：将预处理后的文本数据划分为训练集和测试集，以便模型的训练和评估。
4. 选择机器学习模型：根据实际情况选择适合的机器学习模型，例如朴素贝叶斯、支持向量机（SVM）、随机森林等。这些模型在文本分类任务中通常表现良好。
5. 模型训练和评估：使用训练集对选定的机器学习模型进行训练，并使用测试集对模型进行评估。评估指标可以选择准确率、精确率、召回率、F1值等来衡量模型性能。
6. 调参优化：如果模型效果不理想，可以尝试调整特征提取和机器学习模型的参数，以提高模型性能。

Baseline 方法：
在Baseline中，采用了BOW（词袋模型）将文本转换为向量表示，并选择逻辑回归模型来完成训练和评估。逻辑回归是一种简单而高效的分类算法，适用于二分类任务

任务一baseline代码讲解

1.首先是baseline的代码：

导入pandas用于读取表格数据

import pandas as pd

导入BOW（词袋模型），可以选择将CountVectorizer替换为TfidfVectorizer（TF-IDF（词频-逆文档频率）），注意上下文要同时修改，亲测后者效果更佳

from sklearn.feature_extraction.text import CountVectorizer

导入LogisticRegression回归模型

from sklearn.linear_model import LogisticRegression

过滤警告消息

from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)

读取数据集

train = pd.read_csv('/home/aistudio/data/data231041/train.csv')
train['title'] = train['title'].fillna('')
train['abstract'] = train['abstract'].fillna('')
test = pd.read_csv('/home/aistudio/data/data231041/test.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')

提取文本特征，生成训练集与测试集

train['text'] = train['title'].fillna('') + ' ' +  train['author'].fillna('') + ' ' + train['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' +  test['author'].fillna('') + ' ' + test['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')

BOW特征提取

vector = CountVectorizer().fit(train['text'])
train_vector = vector.transform(train['text'])
test_vector = vector.transform(test['text'])

初始化LogisticRegression模型

model = LogisticRegression()

开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果

model.fit(train_vector, train['label'])

利用模型对测试集label标签进行预测

test['label'] = model.predict(test_vector)

生成任务一推测结果

test[['uuid', 'Keywords', 'label']].to_csv('submit_task1.csv', index=None)

2.以下是自己对代码的理解：

这段代码是一个简单的文本二分类任务（任务一）的实现。代码中使用了词袋模型（BOW）和逻辑回归模型来对论文进行分类，判断论文是否属于医学领域的文献。

1. 导入所需的库：代码首先导入了pandas用于读取表格数据，然后导入了CountVectorizer（词袋模型）用于提取文本特征，以及LogisticRegression回归模型作为分类器。最后，通过导入simplefilter和ConvergenceWarning来过滤警告消息。

2. 读取数据集：代码使用pandas库读取了训练集和测试集的CSV格式文件，并对缺失的字段进行了填充。

3. 提取文本特征：通过将标题、作者、摘要和关键词连接在一起，生成了新的文本特征列"text"，作为模型输入。

4. 特征向量化：使用CountVectorizer对"train[‘text’]"和"test[‘text’]"中的文本进行向量化处理，将文本转换为数值型的特征向量，以便于机器学习模型处理。

5. 初始化模型：创建了LogisticRegression模型的实例，作为分类器。

6. 模型训练：通过调用"model.fit(train_vector, train[‘label’])"对模型进行训练，其中"train_vector"是训练集的特征向量，"train[‘label’]"是训练集中的标签（即论文是否属于医学领域的文献）。

7. 预测测试集：使用训练好的模型对测试集的特征向量"test_vector"进行预测，得到测试集的预测标签。

8. 生成结果文件：将测试集的uuid（论文的唯一标识符）、Keywords（任务2中的标签）以及预测的label（任务1中的预测标签）保存为CSV文件，生成任务一推测结果"submit_task1.csv"。

需要注意的是，代码中的逻辑回归模型使用了默认的参数，这里提到了可以考虑修改batch_size和epoch来取得更好的效果，但实际上逻辑回归并不涉及batch_size和epoch等参数，这些参数主要用于深度学习模型的训练。对于逻辑回归，可以考虑调整其他参数，如正则化项（C）等来优化模型。

此代码是一个基线（Baseline）实现，对于更复杂的文本分类任务，可以尝试使用其他特征提取方法（如TF-IDF）、调整模型参数或使用更复杂的深度学习模型来进一步提升性能。