【DataWhale数据分析】Task3学习报告

十分感谢DataWhale的开源分享！！！！

项目GitHub地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends

DataWhale数据分析|Task3

任务介绍：

任务要求：

使用正则表达式统计论文页数、论文图表数据个数和是否给出代码（主要指GitHub）

任务流程：

1. 下载kaggle数据集 【Task1已完成】
2. 安装所需package：seaborn(数据可视化)，BeautifulSoup4（爬虫相关，用于爬取数据），requests（网络通信），json（json格式数据读取），pandas（大数据分析），matploblib（绘图）【Task1已完成】
3. 了解正则表达式
4. 使用正则表达式统计不同分类论文平均页数
5. 使用正则表达式统计不同分类论文平均图表个数
6. 使用正则表达式统计不同分类论文给出代码个数

任务详解

1. 了解正则表达式

可以参考正则表达式——菜鸟教程，我的整理文章为【DataWhale数据分析】正则表达式学习

2. 使用正则表达式统计不同分类论文平均页数

1） 分析comments数据

data['comments']

可以看到，数据格式为[num] + pages,因此可以通过正则表达式来提取出页数信息

2）提取页数信息

# 使用正则表达式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))

# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]

# 由于匹配得到的是一个list，如['19 pages']，需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))
data['pages'].describe().astype(int)

这里使用了模式字符串[1-9][0-9]* pages

如果使用([1-9][0-9]*) pages可以直接返回页数的字符串

由于有些文章的comments没有提供页数，因此需要使用data[data['pages'].apply(len) > 0]来去掉没有提供页数的论文方便进一步计算；此外，由于数据为list格式，因此需要做一次转换：data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))这里没有看懂为什么要用float来表示，我自己选择用int来进行转换，当然后面也省了astype函数。

3）绘制不同分类论文平均页数直方图

# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

figsize函数设置生成图像大小，单位为英寸
data.groupby(['categories'])['pages'].mean().plot(kind='bar')按照categories分类，取页数的平均值绘图

实验结果

3. 使用正则表达式统计不同分类论文平均图表个数

1） 分析comments数据

data['comments']

可以看到，数据格式为[num] + figures,因此可以类似于步骤2中的方式来进行操作：

2）提取图表个数信息

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

3）绘制不同分类论文平均图表数量直方图

# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])

# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

实验结果

4. 使用正则表达式统计不同分类论文给出代码个数

1）提取包含GitHub的论文

# 筛选包含github的论文
data_with_code = data[
    (data.comments.str.contains('github')==True)|
                      (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')

# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

首先筛选出comments和abstract中包含GitHub关键词的论文，然后将abstract和comments的内容相连便于接下来的正则表达式匹配。fillna函数用于填充NA，在此处用‘’来填充NA值。

使用的正则表达式为[a-zA-z]+://github[^\s]*，首先是[a-zA-z]+来匹配网络协议如http和https,然后是://github来滤除非GitHub的网页。

2）绘制不同类型论文给出代码个数直方图

data_with_code = data_with_code[data_with_code['code_flag'] > 0]
# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

这里注意源代码给的是data_with_code = data_with_code[data_with_code['code_flag'] == 1],我看了一下data_with_code[data_with_code['text'].str.findall(pattern).apply(len)],发现大于1的还是有一些文章的哈哈，这个是个挺重大的bug，把==1改成>0就好了。

实验结果

参考文献：
[1]. 正则表达式——菜鸟教程
[2]. fillna()函数详解