4.1 任务说明
- 学习主题:论文分类(数据建模任务),利用已有数据建模,对新论文进行类别分类;
- 学习内容:使用论文标题和摘要完成类别分类;
- 学习成果:学会文本分类的基本方法、TF-IDF等;
4.2 数据处理步骤
在原始arxiv论文中论文都有对应的类别,而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成:
- 对论文标题和摘要进行处理;
- 对论文类别进行处理;
- 构建文本分类模型;
4.3 文本分类思路
- 思路1:TF-IDF+机器学习分类器
直接使用TF-IDF对文本提取特征,使用分类器进行分类,分类器的选择上可以使用SVM、LR、XGboost等
- 思路2:FastText
FastText是入门款的词向量,利用Facebook提供的FastText工具,可以快速构建分类器
- 思路3:WordVec+深度学习分类器
WordVec是进阶款的词向量,并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。
- 思路4:Bert词向量
Bert是高配款的词向量,具有强大的建模学习能力。
4.4 具体代码实现以及讲解
#导入所需的package并读取原始数据
import json
import pandas as pd # 数据处理和分析
data = []
with open('arxiv-metadata-oai-snapshot.json','r') as f:
for idx, line in enumerate(f):
d = json.loads(line)
d = {'title':d['title'],'categories':d['categories'],'abstract':d['abstract']}
data.append(d)
# 只选取部分数据
if idx > 200000:
break
data = pd.DataFrame(data)
data
为了完成数据处理,我们将标题和摘要拼接在一起完成
# 合并title和abstract
data['text'] = data['title'] + data['abstract']
# 将换行符替换为空格
data['text'] = data['text'].apply(lambda x: x.replace('\n',''))
# 将所有大写字母替换为小写字母
data['text'] = data['text'].apply(lambda x: x.lower())
# 删除多余的列
data = data.drop(['abstract','title'], axis=1)
data
由于原始论文有可能有多个类别,所以也需要处理:
# 多个类别,包含子分类
data['categories'] = data['categories'].apply(lambda x : x.split(' '))
# 单个类别,不包含子分类
data['categories_big'] = data['categories'].apply(lambda x : [xx.split('.')[0] for xx in x])
然后将类别进行编码,这里类别是多个,所以需要多编码:
MultiLabelBinarizer
的使用方法链接:link.
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'].iloc[:])
data_label
4.4.1 思路1
TF-IDF(term frequency-inverse document frequency)词频-逆向文件频率。在处理文本时,如何将文字转化为模型可以处理的向量呢?TF-IDF就是这个问题的解决方案之一。字词的重要性与其在文本中出现的频率成正比(TF),与其在语料库中出现的频率成反比(IDF)。
TF:词频。TF(w) = (词w在文档中出现的次数) / (文档的总词数)
IDF:逆向文件频率。有些词可能在文本中频繁出现,但并不重要,也即信息量小,如 is, of, that 这些单词,这些单词在语料库中出现的频率也非常大,我们就可以利用这点,降低其权重。IDF(w) = log_e(语料库的总文档数) / (语料库中词 w 出现的文档数)
将上面的 TF-IDF 相乘就得到了综合参数:TF-IDF=TF*IDF
-
TfidfVectorizer
简介:link. -
将原始句子转换成词频向量
思路1使用TFIDF提取特征,限制最多4000个单词:
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=4000)
data_tfidf = vectorizer.fit_transform(data['text'].iloc[:])
由于这里是多标签分类,可以使用sklearn的多标签分类进行封装:
# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label,
test_size = 0.2,random_state = 1)
# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB
clf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)
验证模型的精度:
from sklearn.metrics import classification_report
classification_report(y_test, clf.predict(x_test))