AI夏令营-nlp笔记(1)

        使用baseline方法进行基于摘要，标题等信息判断论文是否属于医学领域的文献。

        实现目标需要文章特征提取和拟合模型两个主要步骤。

特征提取

        这里提到了tf-idf和bow两种向量化方法。TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术；BOW（Bag of Words）是一种常用的文本表示方法，其基本思想是假定对于一个文本，忽略其词序和语法、句法，仅仅将其看做是一些词汇的集合，而文本中的每个词汇都是独立的。基于原理，使用sklearn中的TfidfVectorizer结合以上两种方法，并使用stop（停用词）提升信息的有效性。但根据原理，根据此类方法得出的特征向量并未包含文章的时序信息，一词多义等特殊情况，仍存在很大改进空间，但优点为直接使用相同规格的向量表示不同文章，无需RNN，transformer等复杂结构，可直接使用神经网络对其拟合

模型拟合

        可以看出，本次任务为典型的0-1二分类，因此直接选择逻辑回归，无需考虑决策树，支持向量机等方法。最后对代码改进。

# 导入pandas用于读取表格数据
import pandas as pd

# 导入BOW（词袋模型），可以选择将CountVectorizer替换为TfidfVectorizer（TF-IDF（词频-逆文档频率）），注意上下文要同时修改，亲测后者效果更佳
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer

# 导入LogisticRegression回归模型
from sklearn.linear_model import LogisticRegression

# 过滤警告消息
from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)

#指定停用词
stops =[i.strip() for i in open(r'/home/aistudio/data/data231041/stop.txt',encoding='utf-8').readlines()]

# 读取数据集
train = pd.read_csv('/home/aistudio/data/data231041/train.csv')
train['title'] = train['title'].fillna('')
train['abstract'] = train['abstract'].fillna('')

test = pd.read_csv('/home/aistudio/data/data231041/testB.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')


# 提取文本特征，生成训练集与测试集
train['text'] = train['title'].fillna('') + ' ' +  train['author'].fillna('') + ' ' + train['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' +  test['author'].fillna('') + ' ' + test['abstract'].fillna('')

# vector = CountVectorizer(stop_words=stops).fit(train['text'])
# train_vector = vector.transform(train['text'])
# test_vector = vector.transform(test['text'])
vector = TfidfVectorizer(stop_words=stops).fit(train["text"])

train_vector = vector.transform(train['text'])
test_vector = vector.transform(test['text'])

# 引入模型
model = LogisticRegression()

# 开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果
model.fit(train_vector, train['label'])

# 利用模型对测试集label标签进行预测
test['label'] = model.predict(test_vector)
test['Keywords'] = test['title'].fillna('')
test[['uuid','Keywords','label']].to_csv('submit_task1.csv', index=None)

        最后结果评分如下图：

         可以看出提升了0.1个评分，效果良好。