2021-01-19

【Task 03】论文代码统计

今天有点别的事要做,所以先把代码和结果简略写一下了,只是跑了一遍。没有思考。(我错了)主要是第一次是用jupyterbook好不习惯啊啊啊

# 导⼊所需的package
import seaborn as sns #⽤于画图
from bs4 import BeautifulSoup #⽤于爬取arxiv的数据
import re #⽤于正则表达式,匹配字符串的模式
import requests #⽤于⽹络连接,发送⽹络请求,使⽤域名获取对应信息
import json #读取数据,我们的数据为json格式的
import pandas as pd #数据处理,数据分析
import matplotlib.pyplot as plt #画图⼯具
data = [] #初始化
#使⽤with语句优势:1.⾃动关闭⽂件句柄;2.⾃动显示(处理)⽂件读取数据异常
#读取数据
data = [] #初始化
file_path = r"C:/Users/阿偲/Desktop/arxiv-metadata-oai-2019.json"
with open(file_path,'r') as f:
    for idx,line in enumerate(f):
        d = json.loads(line)  ##json.load(file,s,...)需指定文件  json.loads(s,...)
        d = {'abstract': d['abstract'], 'categories': d['categories'],
'comments': d['comments']}
        data.append(d)
        
data = pd.DataFrame(data) #将list变为dataframe格式,⽅便使⽤pandas进⾏分析

data.shape

结果为(170618, 3),显示前五行:

# 使⽤正则表达式匹配,XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*pages',str(x)))
# 筛选出有pages的论⽂
data=data[data['pages'].apply(len) > 0]
data.head()
# 由于匹配得到的是⼀个list,如['19 pages'],需要进⾏转换
data['pages] = data.loc[:,'pages].apply(lambda x:float(x[0].replace('pages','')))
data.head()

 

 

data['pages'].describe().astype(int)

 

data['categories'] = data['categories'].apply(lambda x:x.split( )[0])
data['categories'] = data['categories'].apply(lambda x:x.split('.')[0])

# 每类论⽂的平均⻚数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

 

 

 

# 筛选包含github的论⽂
data_with_code = data[
 (data.comments.str.contains('github')==True)|
 (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') +data_with_code['comments'].fillna('')
# 使⽤正则表达式匹配论⽂
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag']  = data_with_code['text'].str.findall(pattern).apply(len)
data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值