数据分析-task4：论文种类分类

任务说明

• 学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；
• 学习内容：使用论文标题完成类别分类；
• 学习成果：学会文本分类的基本方法、TF-IDF等；

数据处理步骤

在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：

• 对论文标题和摘要进行处理；
• 对论文类别进行处理；
• 构建文本分类模型；

文本分类思路

• 思路1：TF-IDF+机器学习分类器
  直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以使用SVM、LR、XGboost等

• 思路2：FastText
  FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建分类器

• 思路3：WordVec+深度学习分类器
  WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。

• 思路4：Bert词向量
  Bert是高配款的词向量，具有强大的建模学习能力。

具体代码实现以及讲解

通用部分：数据读取+预处理+类别编码

1.字段读取

选取前20w行数据

import json
import pandas as pd

data  = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("./data/arxiv-metadata-oai-snapshot.json", 'r') as f: 
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {'title': d['title'], 'categories': d['categories'], 'abstract': d['abstract']}
        data.append(d)
        
        # 选择部分数据
        if idx > 199999:
            break
        
data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析

2.预处理：拼接+整理格式

为了方便数据的处理，我们可以将标题和摘要拼接一起完成分类。

data['text'] = data['title'] + data['abstract']
data['text']

看下标题和摘要拼接后完整的样子：

因为句子太长所以需要换行，会出现\n换行符号，我们需要去掉换行符，同时为了简便，对所有数据都进行小写化：

data['text'] = data['text'].apply(lambda x: x.replace('\n',' '))
data['text'] = data['text'].str.lower()
# data['text'] = data['text'].apply(lambda x: x.lower())
data['text']

上面用了两种方法进行处理，一种是内置函数，另一种是利用pandas的str文本对象进行处理。使用str对象，结合正则表达式，包括替换、删除、抽取都可以很方便处理，扩展内容可以看我之前整理的内容：pandas-task08-文本数据.md

去掉标题和摘要列

data = data.drop(['abstract', 'title'], axis=1)
data

扩展知识

预处理部分有时候还需要去停用词(stop words)。中文还涉及到分词问题，因为中文都是连续的，而英文有空格可以天然分开各单词不需要分词。中文分词用的比较多的一般是jieba、SnowNLP、THULAC等，可以自行了解，很方便使用，中文分词介绍链接。

3.类别编码

由于原始论文有可能有多个类别，所以也需要处理：

#获得多个类
data['categories']=data['categories'].str.split(' ')


#对类别处理 只细分到大类 不再往下细分
data['categories_big'] = data['categories'].
						apply(lambda x:[xx.split('.')[0] 
						for xx in x])

data[‘categories’] 获取多个类别

data[‘categories_big’]获得大类别

然后将类别进行编码，这里类别是多个，所以需要多编码：

from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'].iloc[:])
data_label

从上面我们知道第二行数据是两个类别，打印下第二行是否是两个类别：

可以看的的确是两个类别，分别对应第3类和第10类。

思路1

TF-IDF相关内容介绍
思路1使用TFIDF提取特征，限制最多4000个单词：

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=4000)
data_tfidf = vectorizer.fit_transform(data['text'].iloc[:])
data_tfidf

由于这里是多标签分类，可以使用sklearn的多标签分类进行封装：

# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label,
                                                 test_size = 0.2,random_state = 1)

# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB
clf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)
clf

验证模型的精度：

from sklearn.metrics import classification_report
print(classification_report(y_test, clf.predict(x_test)))

classification_report各个指标的说明

可能遇到的问题

在做task4的时候，队伍里小伙伴问了我一个警告，大家也可能会遇到，所以记录下。报UndefinedMetricWarning这个警告的大概意思是在预测的标签中有类别一个都没预测出来。

我让她打印了下support这栏，support表示对于类有多少个样板预测到：

可以看到有很多类别一个都没预测到，初步分析可能是数据量比较少或者其他原因，因为她只用了更少的数据测试。

思路2

思路2使用深度学习模型，单词进行词嵌入然后训练。首先按照文本划分数据集：

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data['text'].iloc[:], data_label,
                                                 test_size = 0.2,random_state = 1)

将数据集处理进行编码，并进行截断：

# parameter
max_features= 500
max_len= 150
embed_size=100
batch_size = 128
epochs = 5

from keras.preprocessing.text import Tokenizer
from keras.preprocessing import sequence

tokens = Tokenizer(num_words = max_features)
tokens.fit_on_texts(list(x_train)+list(x_test))

x_sub_train = tokens.texts_to_sequences(x_train)
x_sub_test = tokens.texts_to_sequences(x_test)

x_sub_train=sequence.pad_sequences(x_sub_train, maxlen=max_len)
x_sub_test=sequence.pad_sequences(x_sub_test, maxlen=max_len)

定义模型并完成训练：

# LSTM model
# Keras Layers:
from keras.layers import Dense,Input,LSTM,Bidirectional,Activation,Conv1D,GRU
from keras.layers import Dropout,Embedding,GlobalMaxPooling1D, MaxPooling1D, Add, Flatten
from keras.layers import GlobalAveragePooling1D, GlobalMaxPooling1D, concatenate, SpatialDropout1D# Keras Callback Functions:
from keras.callbacks import Callback
from keras.callbacks import EarlyStopping,ModelCheckpoint
from keras import initializers, regularizers, constraints, optimizers, layers, callbacks
from keras.models import Model
from keras.optimizers import Adam

sequence_input = Input(shape=(max_len, ))
x = Embedding(max_features, embed_size,trainable = False)(sequence_input)
x = SpatialDropout1D(0.2)(x)
x = Bidirectional(GRU(128, return_sequences=True,dropout=0.1,recurrent_dropout=0.1))(x)
x = Conv1D(64, kernel_size = 3, padding = "valid", kernel_initializer = "glorot_uniform")(x)
avg_pool = GlobalAveragePooling1D()(x)
max_pool = GlobalMaxPooling1D()(x)
x = concatenate([avg_pool, max_pool]) 
preds = Dense(19, activation="sigmoid")(x)

model = Model(sequence_input, preds)
model.compile(loss='binary_crossentropy',optimizer=Adam(lr=1e-3),metrics=['accuracy'])
model.fit(x_sub_train, y_train, batch_size=batch_size, epochs=epochs)

注意这里的数字，一开始写成20了报错，需要和y_train的大小相符才可以，改成19后成功。

这里是用cpu跑的，比较慢。想到用gpu跑，但是keras是基于TensorFlow的，我平时都是用的pytorch，没有下载tf-gpu，所以就暂时不配置了。