任务4：论文种类分类

一、 小白的苦恼+2

1.还是一头雾水呀。

二、 实际操作

1.导入所需包

import seaborn as sns           #用于画图
from bs4 import BeautifulSoup   #用于爬取arxiv的数据
import re                       #用于正则表达式，匹配字符串的模式
import requests                 #用于网络连接，发送网络请求，使用域名获取对应信息
import json                     #读取数据，我们的数据为json格式的
import pandas as pd             #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

2. 字段读取

为了了方便便大家入门文本分类，首先完成字段读取：

    data = [] #初始化
#使用with语句句优势：1.自动关闭文件句句柄；2.自动显示（处理理）文件读取数据异常
with open(r'E:\04\arxiv-metadata-oai-snapshot.json', 'r') as f:
    for idx, line in enumerate(f):
        d = json.loads(line)
        d = {'title': d['title'], 'categories': d['categories'], 'abstract':
d['abstract']}
        data.append(d)
        
        # 选择部分数据
        if idx > 200000:
            break
            
data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行行分析
  

为了方便便数据的处理理，我们可以将标题和摘要拼接一起完成分类；

data['text'] = data['title'] + data['abstract']

data['text'] = data['text'].apply(lambda x: x.replace('\n',' '))
data['text'] = data['text'].apply(lambda x: x.lower())
data = data.drop(['abstract', 'title'], axis=1)

由于原始论文有可能有多个类别，所以也需要处理；

# 多个类别，包含子分类
data['categories'] = data['categories'].apply(lambda x : x.split(' '))

# 单个类别，不不包含子分类
data['categories_big'] = data['categories'].apply(lambda x : [xx.split('.')[0]
for xx in x])

然后将类别进⾏行行编码，这⾥里里类别是多个，所以需要多编码。

from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'].iloc[:])

3.TF-IDF+机器器学习：

（1）使用TFIDF提取特征，限制最多4000个单词：

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=4000)
data_tfidf = vectorizer.fit_transform(data['text'].iloc[:])

（2） 由于这里是多标签分类，可以使⽤用sklearn的多标签分类进⾏行行封装：

# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label,
                                                 test_size = 0.2,random_state =1)

# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB
clf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)

（3）验证模型的精度：

from sklearn.metrics import classification_report
print(classification_report(y_test, clf.predict(x_test)))

三、 总结

依旧依葫芦画瓢；应该需要更多的基础知识，三天才可以融会贯通。