学术前沿趋势分析Task03

最新推荐文章于 2024-07-13 14:04:37 发布
最新推荐文章于 2024-07-13 14:04:37 发布
阅读量855 收藏
点赞数
分类专栏： datawhale 文章标签： 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42871941/article/details/112796165
版权

一、任务说明

  • 任务主题：论文代码统计，统计所有论文出现代码的相关统计；
  • 任务内容：使用正则表达式统计代码连接、页数和图表数据；
  • 任务成果：学习正则表达式统计；

二、数据处理步骤

在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接，所以我们需要从这些字段里面找出代码的链接。

  • 确定数据出现的位置；
  • 使用正则表达式完成匹配；
  • 完成相关的统计；

三、正则表达式

正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

3.1 普通字符：大写和小写字母、所有数字、所有标点符号和一些其他符号

字符描述
[ABC]匹配 […] 中的所有字符，例如 [aeiou] 匹配字符串 “google runoob taobao” 中所有的 e o u a 字母。
[^ABC]匹配除了 […] 中字符的所有字符，例如 [^aeiou] 匹配字符串 “google runoob taobao” 中除了 e o u a 字母的所有字母。
[A-Z][A-Z] 表示一个区间，匹配所有大写字母，[a-z] 表示所有小写字母。
.匹配除换行符（\n、\r）之外的任何单个字符，相等于 [^\n\r]。
[\s\S]匹配所有。\s 是匹配所有空白符，包括换行，\S 非空白符，包括换行。
\w匹配字母、数字、下划线。等价于 [A-Za-z0-9_]

3.2 特殊字符：有特殊含义的字符

特别字符描述
( )标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 ( 和 )。
*匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 *。
+匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 +。
.匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 . 。
[标记一个中括号表达式的开始。要匹配 [，请使用 [。
?匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 ?。
\将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， ‘n’ 匹配字符 ‘n’。’\n’ 匹配换行符。序列 ‘’ 匹配 “”，而 ‘(’ 则匹配 “(”。
^匹配输入字符串的开始位置，除非在方括号表达式中使用，当该符号在方括号表达式中使用时，表示不接受该方括号表达式中的字符集合。要匹配 ^ 字符本身，请使用 ^。
{标记限定符表达式的开始。要匹配 {，请使用 {。
|指明两项之间的一个选择。要匹配 |，请使用 |。

3.3 限定符

字符描述
*匹配前面的子表达式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等价于{0,}。
+匹配前面的子表达式一次或多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等价于 {1,}。
?匹配前面的子表达式零次或一次。例如，“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等价于 {0,1}。
{n}n 是一个非负整数。匹配确定的 n 次。例如，‘o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的两个 o。
{n,}n 是一个非负整数。至少匹配n 次。例如，‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等价于 ‘o+’。‘o{0,}’ 则等价于 ‘o*’。
{n,m}m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，“o{1,3}” 将匹配 “fooooood” 中的前三个 o。‘o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。

四、具体代码实现以及讲解

首先我们来统计论文页数，也就是在comments字段中抽取pages和figures和个数，首先完成字段读取。

# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

data  = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("arxiv-metadata-oai-snapshot.json", 'r') as f: 
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}
        data.append(d)
        
data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析

data.head()
abstractcategoriescomments
0A fully differential calculation in perturba...hep-ph37 pages, 15 figures; published version
1We describe a new algorithm, the $(k,\ell)$-...math.CO cs.CGTo appear in Graphs and Combinatorics
2The evolution of Earth-Moon system is descri...physics.gen-ph23 pages, 3 figures
3We show that a determinant of Stirling cycle...math.CO11 pages
4In this paper we show how to compute the $\L...math.CA math.FANone

对pages进行抽取：

# 使用正则表达式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))

data.head()
abstractcategoriescommentspages
0A fully differential calculation in perturba...hep-ph37 pages, 15 figures; published version[37 pages]
1We describe a new algorithm, the $(k,\ell)$-...math.CO cs.CGTo appear in Graphs and Combinatorics[]
2The evolution of Earth-Moon system is descri...physics.gen-ph23 pages, 3 figures[23 pages]
3We show that a determinant of Stirling cycle...math.CO11 pages[11 pages]
4In this paper we show how to compute the $\L...math.CA math.FANone[]
# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]

data.head()
abstractcategoriescommentspages
0A fully differential calculation in perturba...hep-ph37 pages, 15 figures; published version[37 pages]
2The evolution of Earth-Moon system is descri...physics.gen-ph23 pages, 3 figures[23 pages]
3We show that a determinant of Stirling cycle...math.CO11 pages[11 pages]
5We study the two-particle wave function of p...cond-mat.mes-hall6 pages, 4 figures, accepted by PRA[6 pages]
6A rather non-standard quantum representation...gr-qc16 pages, no figures. Typos corrected to match...[16 pages]
# 由于匹配得到的是一个list，如['19 pages']，需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))

data.head()
abstractcategoriescommentspages
0A fully differential calculation in perturba...hep-ph37 pages, 15 figures; published version37.0
2The evolution of Earth-Moon system is descri...physics.gen-ph23 pages, 3 figures23.0
3We show that a determinant of Stirling cycle...math.CO11 pages11.0
5We study the two-particle wave function of p...cond-mat.mes-hall6 pages, 4 figures, accepted by PRA6.0
6A rather non-standard quantum representation...gr-qc16 pages, no figures. Typos corrected to match...16.0

对pages进行统计：

data['pages'].describe().astype(int)

count    1089180
mean          17
std           22
min            1
25%            8
50%           13
75%           22
max        11232
Name: pages, dtype: int32

统计结果如下：论文平均的页数为17页，75%的论文在22页以内，最长的论文有11232页。

接下来按照分类统计论文页数，选取了论文的第一个类别的主要类别：

# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])

data.head()
abstractcategoriescommentspages
0A fully differential calculation in perturba...hep-ph37 pages, 15 figures; published version37.0
2The evolution of Earth-Moon system is descri...physics23 pages, 3 figures23.0
3We show that a determinant of Stirling cycle...math11 pages11.0
5We study the two-particle wave function of p...cond-mat6 pages, 4 figures, accepted by PRA6.0
6A rather non-standard quantum representation...gr-qc16 pages, no figures. Typos corrected to match...16.0
# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

在这里插入图片描述

接下来对论文图表个数进行抽取：

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

data.head()
abstractcategoriescommentspagesfigures
0A fully differential calculation in perturba...hep-ph37 pages, 15 figures; published version37.015.0
2The evolution of Earth-Moon system is descri...physics23 pages, 3 figures23.03.0
5We study the two-particle wave function of p...cond-mat6 pages, 4 figures, accepted by PRA6.04.0
9Partial cubes are isometric subgraphs of hyp...math36 pages, 17 figures36.017.0
15In this work, we evaluate the lifetimes of t...hep-ph17 pages, 3 figures and 1 table17.03.0

最后我们对论文的代码链接进行提取，为了简化任务我们只抽取github链接：

# 筛选包含github的论文
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)]
data_with_code = data_with_code.copy() # 加个copy就没有警告了
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')

data_with_code.head()
abstractcategoriescommentspagesfigurestext
253172Solar tomography has progressed rapidly in r...astro-ph21 pages, 6 figures, 5 tables21.06.0Solar tomography has progressed rapidly in r...
254226We describe a hybrid Fourier/direct space co...astro-ph10 pages, 6 figures. Submitted to Astronomy an...10.06.0We describe a hybrid Fourier/direct space co...
296182REBOUND is a new multi-purpose N-body code w...astro-ph10 pages, 9 figures, accepted by A&A, source c...10.09.0REBOUND is a new multi-purpose N-body code w...
300298This article proposes a way to improve the p...physics10 pages, 7 figures. CODE: https://github.com/...10.07.0This article proposes a way to improve the p...
311500The interaction of distinct units in physica...physicsPreprint. 24 pages, 4 figures, 2 tables. Sourc...24.04.0The interaction of distinct units in physica...
# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code = data_with_code.copy()
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

data_with_code.head()
abstractcategoriescommentspagesfigurestextcode_flag
253172Solar tomography has progressed rapidly in r...astro-ph21 pages, 6 figures, 5 tables21.06.0Solar tomography has progressed rapidly in r...0
254226We describe a hybrid Fourier/direct space co...astro-ph10 pages, 6 figures. Submitted to Astronomy an...10.06.0We describe a hybrid Fourier/direct space co...1
296182REBOUND is a new multi-purpose N-body code w...astro-ph10 pages, 9 figures, accepted by A&A, source c...10.09.0REBOUND is a new multi-purpose N-body code w...1
300298This article proposes a way to improve the p...physics10 pages, 7 figures. CODE: https://github.com/...10.07.0This article proposes a way to improve the p...2
311500The interaction of distinct units in physica...physicsPreprint. 24 pages, 4 figures, 2 tables. Sourc...24.04.0The interaction of distinct units in physica...1

并对论文按照类别进行绘图：

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

在这里插入图片描述

参考文献

https://github.com/datawhalechina/team-learning-data-mining/blob/master/AcademicTrends/Task3%20%E8%AE%BA%E6%96%87%E4%BB%A3%E7%A0%81%E7%BB%9F%E8%AE%A1.md

Daisy Lee
关注
专栏目录
Js正则表达式匹配标签中间内容并进行相应的操作
天命既定，水中幻月
01-04 1270
应用场景：vue-quill-editor富文本框保存空格到数据库，数据回显到富文本框时空格被清除。 解决方案：通过正则表达式由显式空格符替换隐式空格符即可。即：’ ’ 替换成   实际操作： formateJson(){ let testJson = '<p class="layui-i"> aaa bbb ccc</p><p> 44 55 66</p>'; let changeJson = testJson.replace(/(?<
java正则表达式或_java 正则表达式
weixin_36152359的博客
02-20 3759
一.基础1.一般来说正则表达式就是以某种方式来描述字符串,因此你可以说如果一个字符串中含有这些东西,那么它就是我正在找的东西."例如,要找一个数字,它可能有一个负号在最前面,那么你就写一个负号加上一个问号,就像这样: -?2. 在Java中使用正则表达式,\\的意思是要插入一个正则表达式的反斜线,\\\\是插入一个普通的反斜线.3.要表示"一个或多个之前的表达式",因该使用+,所以,...
js学习（正则表达式&表单验证）
inputlife的博客
10-17 740
一、首先了解传统的验证方式 1、非空验证 if(emall==""){ alert("Emall 不能为空") return false } 2、查找字符串首次出现的位置 var str = "this is JavaScript" var selectFirst = str.indexOf("Java"); console.log(selectFirst); 返回值为 8 3、根据字符串的特殊符号来查找 form.onsubmit=function(){ va
java正则表达式大全(参考)
一切皆有可能，无畏将来
01-04 2490
)$ 或 ^(-([1-9]\d*.\d*|0.\d*[1-9]\d*))|0?4 手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$2 域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?18 负浮点数：^-([1-9]\d*.\d*|0.\d*[1-9]\d*)$ 或 ^(-(([0-9]+.[0-9]
java正则式 或_Java正则表达式
weixin_39851048的博客
02-20 760
记下一些知识。。。。。。。。。。。。。。。基础点普通字符串 ------也算一个正则表达式，例如Hello World 正则表达式匹配 "Hello World" 字符串。. -----匹配除"\r\n"之外的任何单个字符。若要匹配包括"\r\n"在内的任意字符，请使用诸如"[\s\S]"之类的模式。*----零次或多次匹配前面的字符或子表达式+ -----一次或多次匹配前面的字符或子表达式\s...
DataWhale-学术前沿趋势分析-Task1 论文数据统计.ipynb
01-17
DataWhale-学术前沿趋势分析-Task1 论文数据统计源码
学术前沿趋势分析 Task5：作者信息关联
weixin_42120499的博客
01-25 232
学术前沿趋势分析 Task5：作者信息关联一、任务说明二、任务思路图统计指标三、具体代码实现及解释1、导入数据2、创建作者链接的无向图 一、任务说明 学习主题：作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系； 学习内容：构建作者关系图，挖掘作者关系 学习成果：论文作者知识图谱、图关系挖掘 二、任务思路 将作者列表进行处理，并完成统计。具体步骤如下：将论文第一作者与其他作者（论文非第一作者）构建图；使用图算法统计图中作者与其他作者的联系。 这里要用到复杂网络中图的知识：Graph
学术前沿趋势分析Task4：论文种类分类
木得脑袋
01-22 441
论文种类分类1. 研究目的2. 主要内容（1）读取数据（2）数据预处理（3）建立模型 DataWhale数据分析打卡营 开源内容 1. 研究目的 通过论文的标题+摘要，预测论文所属分类。 论文数据来自arXiv。 在本系列第一篇博客中已经详细介绍过arXiv数据集↓ Kaggle上的一个数据集，可以理解为计算机领域论文信息库。 是一个有很多行的表，每一行代表一篇论文，记录每一篇论文的作者、标签、发表年份等信息。 2. 主要内容 代码来自Datawhale开源内容，只做了重新编排，非原创… （1）读
学术前沿趋势分析 Task4：论文种类分类
weixin_42120499的博客
01-22 626
学术前沿趋势分析 Task4：论文种类分类一、任务说明二、任务思路三、具体代码实现及解释1、导入数据2、使用TF-IDF提取特征3、XGBoost模型4、深度学习方法 一、任务说明 学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类； 学习内容：使用论文标题完成类别分类； 学习成果：学会文本分类的基本方法、TF-IDF等； 二、任务思路 我们可以借助论文的标题和摘要完成： 对论文标题和摘要进行处理； 选取title和abstract特征字段。 对论文类别进行处理； 构建文本分类
Datawhale-学术前沿趋势分析-Task03
weixin_43246660的博客
01-16 159
Datawhale-学术前沿趋势分析-Task03 任务说明 任务主题：论文代码统计，统计所有论文出现代码的相关统计； 任务内容：使用正则表达式统计代码连接、页数和图表数据； 任务成果：学习正则表达式统计； 具体代码实现 导入数据 import setuptools import seaborn as sns from bs4 import BeautifulSoup import re import requests import json import pandas as pd import mat
Java的正则表达式
不愧是暮言的博客
05-31 2010
正则表达式是一种强大的字符串匹配工具，可以在很多领域得到广泛使用。在Java中，正则表达式也被广泛应用于字符串匹配、查找和替换等方面。本文将介绍Java中常用的正则表达式语法以及其使用方法，供大家参考。本文主要介绍了Java中正则表达式的基本语法、Pattern类和Matcher类的使用方法，以及常用方法和实际应用示例。希望通过阅读本文，读者们掌握了使用Java正则表达式的基本技能，并在实践中不断提高自己的能力，为自己的开发工作和项目做出更加出色的贡献。
java 正则表达式 逻辑非_正则表达式（四）：正则表达式的与或非（转）
weixin_29763721的博客
02-13 1126
我们使用正则表达式，熟练掌握各种功能和结构只是手段，解决实际的问题才是真正的目的。要解决真正的问题，就必须有解决问题的思路，正则表达式的功能，说到底，可以归纳为三种逻辑，为了表述方便，我们分别称为与、或、非。逻辑关系说明与在某个位置，某些元素(字符、字符组或者子表达式)必须出现或在某个位置，某个元素或许不出现，或许不出现，或许长度不固定；要出现的，是某几个元素中的一个非在某个位置，某些元素不能出现...
java正则表达式或or的表示方法
热门推荐
野猿新一
07-16 1万+
示例 二话不说上代码 Pattern pattern = Pattern.compile("^(AAA|BBB|CCC)$"); Matcher matcher1 = pattern.matcher("AAA"); Matcher matcher2 = pattern.matcher("BBB"); Matcher matcher3 = pattern.matcher("CCC"); Matcher matcher4 = pattern.matcher("DDD"); System.out.print
Java 中的正则表达式
最新发布
m0_46977298的博客
07-13 1636
Java中正则表达式的使用
python高级代码块
mtj66的博客，交流WX:SpringBreeze1104
08-20 1217
# Get number of unique entries in each column with categorical data object_nunique = list(map(lambda col: X_train[col].nunique(), object_cols)) d = dict(zip(object_cols, object_nunique)) # Print number of unique entries by column, in ascending order sort.
JS正则匹配过滤字符串中的html标签及html标签内的内容
qhzhen的博客
12-30 9658
一、匹配html标签，但不匹配html标签里的内容（简单粗暴，直接上正则。前面三种不是我所需要的，后面reg4过滤单标签的，可以需要） var reg = /<[^>]+>/gi; //匹配所有的html标签。但不包括html标签内的内容 var reg2 = /<(?!img).*?>/gi; //匹配除img标签外的html标签 不包括html标签内的内容 var reg3 = /<(?!img|p|
python高級-代码优化
loco_python
03-07 263
一、函数返回值缓存 class memoization: known = dict() '''用这个装饰耗时0.5秒''' def __init__(self, fn): self.fn = fn def __call__(self, *args): if args not in self.known: ...
html java片段_java正则匹配html片段，并取得标签中的内容
weixin_36080429的博客
02-13 326
最近java群好友发来一个html代码，要帮忙匹配查找html代码里面特定的内容：代码如下：年代：2013年朝向：东北楼层：第10层(共33层)结构：平层装修：毛坯住宅类别：普通住宅建筑类别：板楼产权性质：个人产权需求为找到 span中内容为：住宅类别的中后面的内容，即获取“普通住宅”文本，通过分析发现如果直接匹配到具体的 住宅类别：普通住宅发现会有点麻烦， 因为以开头 并以结束的模式如果写的不...
Java——正则表达式详解
吴声子夜歌的博客
03-07 6878
Java对正则表达式的支持是从1.4版本开始的，此前的JRE版本不支持正则表达式。Java语言中的正则表达式匹配功能主要是通过和类实现的。find()：在一个字符串里寻找一个给定模式的匹配：用一个给定的模式尝试匹配一个字符串的开头matches()：用一个给定的模式去尝试匹配一个完整的字符串：进行替换操作，对所有的匹配都进行替换：进行替换操作，只对第一个匹配进行替换compile()：把一个正则表达式编译成一个模式flags()：返回某给定模式的匹配标志matches()
Spark源码分析：Task运行期函数调用与数据流程
"Apache Spark源码走读之3 -- Task运行期之函数调用关系分析" 在深入探讨Apache Spark源码的Task运行期函数调用关系之前，先了解一下基础背景。Spark是一个快速、通用且可扩展的大数据处理框架，它通过弹性分布式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值