内容介绍:
本次任务主要是一个数据准备的工作,通过爬虫获取arxiv上面的数据,然后对论文进行一个分类,查看一下所有类别论文的数量,以及计算机领域里面论文的分布情况。
问题整理:
1、列表推导式嵌套循环理解。
unique_categories = set([i for l in [x.split(' ') for x in data["categories"]] for i in l])
等价于以下的代码:
list1 = []
for l in [x.split(' ') for x in data['categories']]:
for i in l:
list1.append(i)
list1
2、正则表达式的理解。
re.sub(r"(.*) \((.*)\)",r"\1",raw)
:
.表示匹配任意1个字符
*表示匹配前一个字符出现0次多次或者无限次
(表示匹配“(”
具体的这个语句,(.)为括号前所有的str,((.))为后面括号的str
例如:
原始的str为:Astrophysics(astro-ph)
经过 re.sub(r"(.)((.))",r"\2",raw)后的str为 astro-ph
经过 re.sub(r"(.)((.))",r"\1",raw)后的str为 Astrophysics
正则表达式图解析:https://regexper.com/ 或者这个:https://regexr.com/
错误解答:
在表1左连接表2的时候,发现结果是空表。分步骤看,连接后的表中显示原表2的列都是空值,排查问题可能出在了哪里呢。首先应该思考键的问题,排查后发现两个表的键不一致(虽然输出的DataFrame看着是一致的)。进一步排查可以发现,是在正则表达式那块有些小问题。
错误写法:
raw = t.text
level_3_code = re.sub(r"(.*)\((.*)\)"