任务背景和目标
- 论文代码统计
- 正则表达式统计
数据处理步骤
- 关注字段:
comments
和abstract
字段 - 确定数据出现的位置
- 正则表达式匹配
- 统计
正则表达式
正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
普通字符
字符 | 描述 |
---|---|
[ABC] | 匹配 […] 中的所有字符,例如 [aeiou] 匹配字符串 “google runoob taobao” 中所有的 e o u a 字母。 |
[^ABC] | 匹配除了 […] 中字符的所有字符,例如 [^aeiou] 匹配字符串 “google runoob taobao” 中除了 e o u a 字母的所有字母。 |
[A-Z] | [A-Z] 表示一个区间,匹配所有大写字母,[a-z] 表示所有小写字母。 |
. | 匹配除换行符(\n、\r)之外的任何单个字符,相等于 [^\n\r]。 |
[\s\S] | \s 是匹配所有空白符,包括换行,\S 非空白符,包括换行。 |
\w | **匹配字母、数字、下划线。**等价于 [A-Za-z0-9_] |
特殊字符
特别字符 | 描述 |
---|---|
() | 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符,请使用 ( 和 )。 |
* | 匹配前面的子表达式零次或多次。要匹配 * 字符,请使用 *。 |
+ | 匹配前面的子表达式一次或多次。要匹配 + 字符,请使用 +。 |
. | 匹配除换行符 \n 之外的任何单字符。要匹配 . ,请使用 . 。 |
[ | 标记一个中括号表达式的开始。要匹配 [,请使用 [。 |
? | 匹配前面的子表达式零次或一次,或指明一个非贪婪限定符。要匹配 ? 字符,请使用 ?。 |
\ | 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如, ‘n’ 匹配字符 ‘n’。’\n’ 匹配换行符。序列 ‘’ 匹配 “”,而 ‘(’ 则匹配 “(”。 |
^ | 匹配输入字符串的开始位置,除非在方括号表达式中使用,当该符号在方括号表达式中使用时,表示不接受该方括号表达式中的字符集合。要匹配 ^ 字符本身,请使用 ^。 |
{ | 标记限定符表达式的开始。要匹配 {,请使用 {。 |
| | 指明两项之间的一个选择。要匹配 |
限定符
字符 | 描述 |
---|---|
* | 匹配前面的子表达式零次或多次。例如,zo* 能匹配 “z” 以及 “zoo”。* 等价于{0,}。(字符o 0次和多次) |
+ | 匹配前面的子表达式一次或多次。例如,‘zo+’ 能匹配 “zo” 以及 “zoo”,但不能匹配 “z”。+ 等价于 {1,}。 |
? | 匹配前面的子表达式零次或一次。例如,“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等价于 {0,1}。 |
{n} | n 是一个非负整数。匹配确定的 n 次。例如,‘o{2}’ 不能匹配 “Bob” 中的 ‘o’,但是能匹配 “food” 中的两个 o。 |
{n,} | n 是一个非负整数。至少匹配n 次。例如,‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’,但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等价于 ‘o+’。‘o{0,}’ 则等价于 ‘o*’。 |
{n,m} | m 和 n 均为非负整数,其中n <= m。最少匹配 n 次且最多匹配 m 次。例如,“o{1,3}” 将匹配 “fooooood” 中的前三个 o。‘o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。 |
具体代码实现及讲解
- 导包
import json
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import re
- 读取数据
data = []
with open(r'E:\学习相关文档\datawhale\202101\arxiv-metadata-oai-2019.json\arxiv-metadata-oai-2019.json','r') as f:
for idx,line in enumerate(f):
d = json.loads(line)
d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}
data.append(d)
data = pd.DataFrame(data)
data.head()
3. 筛选pages数据和绘图
#使用正则表达式匹配
data['pages'] = data['comments'].apply(lambda x :re.findall('[1-9][0-9]* pages',str(x)))
#筛选出有pages的论文
data = data[data['pages'].apply(len)>0]
#re匹配得到的是List,需进行转换
data['pages'] = data['pages'].apply(lambda x:float(x[0].replace(' pages','')))
data.head()
4. 对pages进行统计
data['pages'].describe().astype(int)
- 聚合数据,对论文平均页数进行统计和绘图
# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
#每类论文的平均页数
plt.figure(figsize = (12,6))
data.groupby(['categories'])['pages'].mean().plot(kind = 'bar')
6. 对论文figures进行抽取、处理和绘图
#论文图表个数进行抽取
data['figures'] = data['comments'].apply(lambda x:re.findall('[1-9][0-9]* figures',str(x)))
#选择图表不为0的行
data = data[data['figures'].apply(len)>0]
#从list中抽取页数
data['figures'] = data['figures'].apply(lambda x : float(x[0].replace(' figures','')))
#绘图
plt.figure(figsize=(12,6))
data.groupby(['categories'])['figures'].mean().plot(kind = 'bar')
7. 筛选有代码地址的论文,聚合并绘图
#筛选含有‘github’字符串的论文
data_with_code = data[(data['abstract'].str.contains('github') == True)|(data['comments'].str.contains('github')==True)]
#把comments和abstracts连接成一个字段
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
#使用正则表达式匹配论文
#本次开源网站示例:https://github.com/datawhalechina/team-learning-data-mining/blob/master/AcademicTrends/Task3%20%E8%AE%BA%E6%96%87%E4%BB%A3%E7%A0%81%E7%BB%9F%E8%AE%A1.md
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)
data_with_code['code_flag'].describe()
可以看到max是3~所以应该筛选大于等于1或者不等于0的部分
#绘图
data_with_code = data_with_code[data_with_code['code_flag']>=1]
plt.figure(figsize=(12,6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind = 'bar')