任务背景:
调用API接口数据,抽取我们所需类型的数据,并写入指定mysql数据库。
先从宏观上看这个任务,并对任务进行分解:
step1:需要学习python下的通过url读取数据的方式;
step2:数据解析,也是核心部分,数据格式从python角度去理解,是字典?列表?还是各种嵌套?
step3:连接mysql数据库,将数据写入。
从功能上看,该数据获取程序可以分为3个方法,即step1对应方法request_data(),step2对应方法parse_data(),step3对应data_to_db()。
第一轮,暂不考虑异常,只考虑正常状态下的功能实现。
1、先看request_data():
import requests
def request_data(url):
req = requests.get(url, timeout=30) # 请求连接
req_jason = req.json() # 获取数据
return req_jason
入参:url地址;return:获取到的数据。
2、然后看parse_data():
不同的API接口下的数据格式各不相同,需要先理清,打开之后密密麻麻一大串,有的可能连完整的一轮数据间隔在哪都不知道,这时候可以巧用符号{ [ , ] }辅助判断。
梳理之后,发现本接口下的数据格式为,最外层为字