DataWhale之数据分析练习4:论文种类分类

1 任务说明

1. 学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；
2. 学习内容：使用论文标题完成类别分类；
3. 学习成果：学会文本分类的基本方法、TF-IDF等；

2 数据处理步骤

在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：
对论文标题和摘要进行处理；
对论文类别进行处理；
构建文本分类模型；

3 文本分类思路

1. 思路1：TF-IDF+机器学习分类器
   直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以使用SVM、LR、XGboost等
2. 思路2：FastText FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建分类器
3. 思路3：WordVec+深度学习分类器
   WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。
4. 思路4：Bert词向量
   Bert是高配款的词向量，具有强大的建模学习能力。

4.具体代码实现

# 读入数据
data = []  # 初始化
# 使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("arxiv-metadata-oai-snapshot.json", 'r') as f:
    for index, line in enumerate(f):
        # data.append(json.loads(line))
        if index != 100000:
            d = json.loads(line)
            d = {'title': d['title'], 'categories': d['categories'], 'abstract': d['abstract']}
            data.append(d)
        else:
            break

转换数据类型

data = pd.DataFrame(data)  # 将list变为dataframe格式，方便使用pandas进行分析

为了方便数据的处理，我们可以将标题和摘要拼接一起完成分类。

data['text'] = data['title'] + data['abstract']
data['text'] = data['text'].apply(lambda x: x.replace('\n', ' '))
data['text'] = data['text'].apply(lambda x: x.lower())
data = data.drop(['abstract', 'title'], axis=1)

# 由于原始论文有可能有多个类别，所以也需要处理：
# 多个类别，包含子分类
data['categories'] = data['categories'].apply(lambda x: x.split(' '))
# 单个类别，不包含子分类
data['categories_big'] = data['categories'].apply(lambda x: [xx.split('.')[0] for xx in x])

数据处理

# 然后将类别进行编码，这里类别是多个，所以需要多编码：
from sklearn.preprocessing import MultiLabelBinarizer

mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'])
print(data_label.shape)

1.分词处理

# 思路1使用TFIDF提取特征，限制最多4000个单词：
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=4000)
data_tfidf = vectorizer.fit_transform(data['text'])
print(data_tfidf)

# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label,
                                                    test_size=0.2, random_state=1)

# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB

clf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)

# 验证模型的精度：
from sklearn.metrics import classification_report
print(classification_report(y_test, clf.predict(x_test)))