【数据分析 02】论文作者统计

---

前言

学习主题：论⽂作者统计（数据统计任务），统计所有论⽂作者出现评率Top10的姓名；相关的数据集在专栏的第一篇文章

---

一、预备工作

1.任务说明

任务主题：论⽂作者统计，统计所有论⽂作者出现评率Top10的姓名；
任务内容：论⽂作者的统计、使⽤ Pandas 读取数据并使⽤字符串操作；
任务成果：学习 Pandas 的字符串操作；

以下基于python3.8 jupyter环境中运行

2.字符串处理知识

Python中所有的字符都使⽤字符串存储，可以使⽤⽅括号来截取字符串，如下实例：

var1 = 'Hello Datawhale!'
var2 = "Python Everwhere!"
print("var1[-10:]: ", var1[-10:])
print("var2[1:5]: ", var2[0:7])

#var1[-10:]: Datawhale!
#var2[1:5]: Python
#

转义字符：

内置函数：

二、操作步骤

1.引入库

# 导⼊所需的package
import seaborn as sns #⽤于画图
from bs4 import BeautifulSoup #⽤于爬取arxiv的数据
import re #⽤于正则表达式，匹配字符串的模式
import requests #⽤于⽹络连接，发送⽹络请求，使⽤域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图⼯具

2.读入数据

file_path = r"C:\Users\monster\Desktop\Data King\archive\arxiv-metadata-oai-snapshot.json"
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

3.选择部分论文进行处理

3.1选则cs.cv下面的论文

# 选择类别为cs.CV下⾯的论⽂
data2 = data[data['categories'].apply(lambda x: 'cs.CV' in x)]

data2

输出结果：

可以看到author_parsed一栏数据 姓和名是分开储存在列表中，接下来拼接姓名

3.2拼接所有作者姓名

# 拼接所有作者

all_authors = sum(data2['authors_parsed'], [])  #Series 转化为列表list
authors_names = [' '.join(x) for x in all_authors]  #拼接好储存在list中
authors_names = pd.DataF