【学术前沿分析】4 论文种类分类

最新推荐文章于 2024-07-05 12:00:22 发布

rightgoon

最新推荐文章于 2024-07-05 12:00:22 发布

阅读量331

点赞数

分类专栏：学术前沿分析

本文链接：https://blog.csdn.net/weixin_41545602/article/details/113010549

版权

本文介绍了论文分类的任务，包括数据处理、文本分类思路和具体实现。利用论文标题和摘要，通过TF-IDF+机器学习、FastText、WordVec+深度学习分类器以及Bert词向量等方法进行文本分类。详细讲述了每种方法的实现步骤，为多标签分类提供了解决方案。

摘要由CSDN通过智能技术生成

任务说明

论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；
使用论文标题完成类别分类；
学会文本分类的基本方法、TF-IDF等；

数据处理步骤

在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：

对论文标题和摘要进行处理；
对论文类别进行处理；
构建文本分类模型；

文本分类思路

思路1：TF-IDF+机器学习分类器

直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以使用SVM、LR、XGboost等

思路2：FastText

FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建分类器

思路3：WordVec+深度学习分类器

WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。

思路4：Bert词向量

Bert是高配款的词向量，具有强大的建模学习能力。

（涉及深度学习还得后面补，日渐沦为没有感情的搬运工。。。。）

具体代码实现以及讲解

首先完成字段读取：

# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

def readArxivFile(path, columns=['id', 'submitter', 'authors', 'title', 'comments', 'journal-ref', 'doi',
       'report-no', 'categories', 'license', 'abstract', 'versions',
       'update_date', 'authors_parsed'], count=None):
    '''
    定义读取文件的函数
        path: 文件路径
        columns: 需要选择的列
        count: 读取行数
    '''
    
    data  = []
    with open(path, 'r') as f: 
        for idx, line in enumerate(f): 
            if idx == count:
                break
                
            d = json.loads(line)
            d = {
   col : d[col] for col in columns}
            data.append(d)

    data = pd.DataFrame(data)
    return data

data = readArxivFile('arxiv-metadata-oai-snapshot.json', 
                     ['id', 'title'