DataWhale数据分析组队学习——Day2

引言

今天是第二天，花了很多时间去搜索网页爬虫的资料，具体有几种方法，要考虑到从不同的网页抓取有不同的方法，一般用的方法有requests,下面的话一种方法是使用bs4的BeautifulSoup，另外一种方法需要找到我们要爬取内容的路径，找路径需要网页的开发者模式。但是自己还是没有能短时间内掌握，所以还是老实把数据下载了下来，实属无奈。

读取数据

# 读入数据
data = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
filename = "arxiv-metadata-oai-2019.json"
with open(filename, 'r') as f:
	for line in f:
		data.append(json.loads(line))

data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析
print(data.shape) #显示数据大小
print(data.head()) #查看前5行代码

这个时候的输出结果为：

(170618, 14)