任务:
论文分类(数据建模任务),利用已有数据建模,对新论文进行类别分类;
步骤:
在原始arxiv论文中论文都有对应的类别,而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成:
对论文标题和摘要进行处理;
对论文类别进行处理;
构建文本分类模型;
代码实现:
首先完成字段读取:
data = [] #初始化
#使用with语句优势:1.自动关闭文件句柄;2.自动显示(处理)文件读取数据异常
with open("I:/数据分析/archive/arxiv-metadata-oai-snapshot.json", 'r') as f:
for idx, line in enumerate(f):
d = json.loads(line)
d = {'title': d['title'], 'categories': d['categories'], 'abstract': d['abstract']}
data.append(d)
# 选择部分数据
if idx > 200000:
break
data = pd.DataFrame(data) #将list变为dataframe格式,方便使用pandas进行分析
enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一般用在 for 循环当中。
json.dumps()和json.loads()是json格式处理函数, 主要用来读写json文件函数。
为了方便数据的处理,我们可以将标题和摘要拼接一起完成分类。
data['text'] = data['title'] + data['abstract']
data['text'] = data['text'].apply(lambda x: x.replace('\n',' '))
data['text'] = data['text'].apply(lambda x: x.lower())
data = data.drop(['abstract', 'title'], axis=1)
由于原始论文有可能有多个类别,所以也需要处理:
# 多个类别,包含子分类
data['categories'] = data['categories'].apply(lambda x : x.split(' '))
# 单个类别,不包含子分类
data['categories_big'] = data['categories'].apply(lambda x : [xx.split('.')[0] for xx in x])
将类别进行编码,这里类别是多个,所以需要多编码:
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'].iloc[:])
使用TFIDF提取特征, TFIDF是用来提取文本特征,并将文本转化为特征向量的。
限制最多4000个单词:
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'].iloc[:])
这里是多标签分类,可以使用sklearn的多标签分类进行封装:
# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label,
test_size = 0.2,random_state = 1)
# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB
clf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)
train_test_split()函数是用来随机划分样本数据为训练集和测试集的,第一个参数 train_data表示待划分样本, train_target表示待划分样本的标签, test_size是测试数据所占比例, random_state是随机数种子, 若为0或不填,则每次得到数据都不一样。
验证模型的精度:
from sklearn.metrics import classification_report
print(classification_report(y_test, clf.predict(x_test)))