数据分析---arXiv论文种类分类

最新推荐文章于 2025-06-22 10:08:18 发布

疯子书生z

最新推荐文章于 2025-06-22 10:08:18 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据分析文章标签：机器学习 python 数据分析

本文链接：https://blog.csdn.net/qq_42240729/article/details/112917742

本文探讨了如何利用BERT模型对arxiv论文的标题和摘要进行处理，通过TF-IDF、FastText、WordVec和深度学习方法，实现多类别论文的高效分类，着重介绍了使用高级词向量BERT构建深度分类器的详细过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文种类分类

4.1 任务说明

主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；
内容：使用论文标题完成类别分类；

4.2 数据处理步骤

在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中可以借助论文的标题和摘要完成：

对论文标题和摘要进行处理；
对论文类别进行处理；
构建文本分类模型；

4.3 文本分类思路

思路1：TF-IDF+机器学习分类器

直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以使用SVM、LR、XGboost等

思路2：FastText

FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建分类器

思路3：WordVec+深度学习分类器

WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。

思路4：Bert词向量

Bert是高配款的词向量，具有强大的建模学习能力。

4.4 具体代码实现以及讲解

首先完成字段读取：

# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

def readArxivFile(path, columns=['id', 'submitter', 'authors', 'title', 'comments', 'journal-ref', 'doi',
       'report-no', 'categories', 'license', 'abstract', 'versions',
       'update_date', 'authors_parsed'], count=None):
    '''
    定义读取文件的函数
        path: 文件路径
        columns: 需要选择的列
        count: 读取行数
    '''
    
    data  = []
    with open(path, 'r') as f: 
        for idx, line in enumerate(f): 
            if idx == count:
                break
                
            d = json.loads(line)
            d = {
   
   col : d[col] for col in columns}
            data.append(d)

    data = pd.DataFrame(data)
    return data

data = readArxivFile('G:/arxiv-metadata-oai-snapshot.json', 
                     ['id', 'title', 'categories', 'abstract'],
                    200000)

data  = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("G：/arxiv-metadata-oai-snapshot.json", 'r') as f: 
    for idx, line in enumerate(f