AI夏令营笔记——任务1

晓山清

已于 2023-08-18 01:01:04 修改

阅读量269

点赞数

文章标签：人工智能笔记 python nlp

于 2023-08-18 00:55:29 首次发布

本文链接：https://blog.csdn.net/m0_51940505/article/details/132353309

版权

任务1

文章目录

任务1

任务说明

任务要求主要如下：

从论文标题、摘要作者等信息，判断该论文是否属于医学领域的文献。
可以将任务看作是一个文本二分类任务。机器需要根据对论文摘要等信息的理解，将论文划分为医学领域的文献和非医学领域的文献两个类别之一。

实现思路

针对文本分类任务，可以提供两种实践思路，一种是使用传统的特征提取方法（如TF-IDF/BOW）结合机器学习模型，另一种是使用预训练的BERT模型进行建模。使用特征提取 + 机器学习的思路步骤如下：

数据预处理：首先，对文本数据进行预处理，包括文本清洗（如去除特殊字符、标点符号）、分词等操作。可以使用常见的NLP工具包（如NLTK或spaCy）来辅助进行预处理。
特征提取：使用TF-IDF（词频-逆文档频率）或BOW（词袋模型）方法将文本转换为向量表示。TF-IDF可以计算文本中词语的重要性，而BOW则简单地统计每个词语在文本中的出现次数。可以使用scikit-learn库的TfidfVectorizer或CountVectorizer来实现特征提取。
构建训练集和测试集：将预处理后的文本数据分割为训练集和测试集，确保数据集的样本分布均匀。
选择机器学习模型：根据实际情况选择适合的机器学习模型，如朴素贝叶斯、支持向量机（SVM）、随机森林等。这些模型在文本分类任务中表现良好。可以使用scikit-learn库中相应的分类器进行模型训练和评估。
模型训练和评估：使用训练集对选定的机器学习模型进行训练，然后使用测试集进行评估。评估指标可以选择准确率、精确率、召回率、F1值等。
调参优化：如果模型效果不理想，可以尝试调整特征提取的参数（如词频阈值、词袋大小等）或机器学习模型的参数，以获得更好的性能。

Baseline中我们选择使用BOW将文本转换为向量表示，选择逻辑回归模型来完成训练和评估。代码如下：

# 导入pandas用于读取表格数据
import pandas as pd

# 导入BOW（词袋模型）
from sklearn.feature_extraction.text import CountVectorizer
# 导入TF-IDF（词频-逆文档频率）
from sklearn.feature_extraction.text import TfidfVectorizer

# 导入LogisticRegression回归模型
from sklearn.linear_model import LogisticRegression

# 过滤警告消息
from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)

# 读取数据集
train = pd.read_csv('/home/aistudio/data/data231041/train.csv')
train['title'] = train['title'].fillna('')
train['abstract'] = train['abstract'].fillna('')

test = pd.read_csv('/home/aistudio/data/data231041/testB.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')

""" 
from sklearn.model_selection import train_test_split

# 该函数将会根据给定比例将数据集划分为训练集与验证集
trian_data, eval_data = train_test_split(test, test_size = 0.2)
# 参数 data 为总数据集，可以是 DataFrame 类型
# 参数 test_size 为划分验证集的占比，此处选择0.2，即划分20%样本作为验证集
 """

# 提取文本特征，生成训练集与测试集
train['text'] = train['title'].fillna('') + ' ' +  train['author'].fillna('') + ' ' + train['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' +  test['author'].fillna('') + ' ' + test['abstract'].fillna('')

# stop词
stops =[i.strip() for i in open(r'stop.txt',encoding='utf-8').readlines()]

# vector = CountVectorizer(stop_words=stops).fit(train['text'])
vector = TfidfVectorizer(stop_words=stops).fit(train["text"])
train_vector = vector.transform(train['text'])
test_vector = vector.transform(test['text'])

# 引入模型
model = LogisticRegression()

# 开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果
model.fit(train_vector, train['label'])

# 利用模型对测试集label标签进行预测
test['label'] = model.predict(test_vector)
test['Keywords'] = test['title'].fillna('')
# 生成任务一推测结果
test[['uuid', 'Keywords', 'label']].to_csv('submit_task2.csv', index=None)

优化方向

其实Baseline已经是一个可以一键运行的代码了，但如果直接提交baseline的话，准确率大概为67%左右，而我们只需要简单的几个操作，可能就可以让准确率甚至提升10%。

数据清洗
可以通过去除一些对于辅助判断无用的信息来提高效率与准确率，如作者栏。
PS.可以利用知识图谱等来得知作者所处领域，如果是医学领域，那为医学领域的文章的可能性就会大很多。
模型选择
我们可以选择BOW或者TF-IDF两种不同模型，两者主要的区别就是TF-IDF更好的考虑了上下文关联，感兴趣的话可以再自行了解。而如果想要提升准确率的话，可以选择TF-IDF模型。

# 导入TF-IDF（词频-逆文档频率）
from sklearn.feature_extraction.text import TfidfVectorizer
vector = TfidfVectorizer().fit(train["text"])

停用词
停用词就是一些对于帮助理解语义意义不大的词，如汉语中的“了”、“吗”等等，我们可以将这些词给排除在外，以提高我们的效率与准确率。
PS.停用词文档需要自行下载

# stop词
stops =[i.strip() for i in open(r'stop.txt',encoding='utf-8').readlines()]
vector = TfidfVectorizer(stop_words=stops).fit(train["text"])

调参
由于调参过程较为繁琐，在这里就不写详细记录了，但是会给一个示例，可以不断调整batch_size与epoch来取得更好的效果。

model.fit(train_vector, train['label'],batch_size=1000,epoch=10)

conclusion

总而言之，在结合了2、3两个方法后，我的准确率大概在76%左右。具体代码如下：

# 导入pandas用于读取表格数据
import pandas as pd

# 导入BOW（词袋模型）
from sklearn.feature_extraction.text import CountVectorizer
# 导入TF-IDF（词频-逆文档频率）
from sklearn.feature_extraction.text import TfidfVectorizer

# 导入LogisticRegression回归模型
from sklearn.linear_model import LogisticRegression

# 过滤警告消息
from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)

# 读取数据集
train = pd.read_csv('/home/aistudio/data/data231041/train.csv')
train['title'] = train['title'].fillna('')
train['abstract'] = train['abstract'].fillna('')

test = pd.read_csv('/home/aistudio/data/data231041/testB.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')

""" 
from sklearn.model_selection import train_test_split

# 该函数将会根据给定比例将数据集划分为训练集与验证集
trian_data, eval_data = train_test_split(test, test_size = 0.2)
# 参数 data 为总数据集，可以是 DataFrame 类型
# 参数 test_size 为划分验证集的占比，此处选择0.2，即划分20%样本作为验证集
 """

# 提取文本特征，生成训练集与测试集
train['text'] = train['title'].fillna('') + ' ' +  train['author'].fillna('') + ' ' + train['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' +  test['author'].fillna('') + ' ' + test['abstract'].fillna('')

# stop词
stops =[i.strip() for i in open(r'stop.txt',encoding='utf-8').readlines()]

# vector = CountVectorizer(stop_words=stops).fit(train['text'])
vector = TfidfVectorizer(stop_words=stops).fit(train["text"])
train_vector = vector.transform(train['text'])
test_vector = vector.transform(test['text'])

# 引入模型
model = LogisticRegression()

# 开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果
model.fit(train_vector, train['label'])

# 利用模型对测试集label标签进行预测
test['label'] = model.predict(test_vector)
test['Keywords'] = test['title'].fillna('')
# 生成任务一推测结果
test[['uuid', 'Keywords', 'label']].to_csv('submit_task2.csv', index=None)