一、简介
在实践 P y t h o n Python Python 爬虫的时候,大家肯定碰到过返回的结果是json字符串格式的数据。
关于 json 数据的详解可以学习如下文章:
对于这种数据可以利用 json 模块将 json 字符串直接转化为字典格式的数据,字典为 {key:value} 型,之后再对应提取我们想要的字段。
但是存在一个问题:
往往网页获取到的 json 数据转化为字典后,嵌套太多,看起来一团糟的感觉,很难一下观察到哪个 key 对应那个value。
本文主要介绍一个超级好用的 Python 库: p p r i n t pprint pprint,它可以格式化打印字典数据,让对应关系更加清晰直观,算是一个实用的爬虫技巧。快学起来!
二、实践案例
下面我们以根据地理名称爬取高德地图地理位置信息为例,展现 p p r i n t pprint pprint 的妙用:
我们利用 json.loads(data.text) 方法,直接将 json 字符串,转换为了字典格式的数据。一看数据,一大堆东西,我们该怎么解析想要的字段?
pprint模块的妙用:我们期望有一种方法能够快速帮助我们理清字典嵌套和key:value对应的关系。
pprint是 Python 第三方库,在使用之前,需要先 pip 安装上。
pip install pprint -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
安装后,可以直接导入使用。
from pprint import pprint
接着,对于上述案例,现在我们使用 pprint() 函数,打印一下,看看会有什么好的效果呢?如下所示:
从图中可以看到,这个字典嵌套和 key:value 对应关系,一目了然,清晰美观,这样之后的解析提取数据就很容易了!源码如下:
import requests
import json
from pprint import pprint
def coords(city):
url = 'https://restapi.amap.com/v3/geocode/geo' # 输入API问号前固定不变的部分
params = {'key': '注意:换成你的高德地图的API应用的key',
'address': city} # 将两个参数放入字典
res = requests.get(url, params)
jd = json.loads(res.text)
return jd['geocodes'][0]['location']
def get_location(keyword, city):
# 获得经纬度
keynum = "注意:换成你的高德地图的API应用的key"
user_agent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'
headers = {'User-Agent': user_agent}
url = 'http://restapi.amap.com/v3/place/text?key=' + keynum + '&keywords=' + keyword + '&types=&city=' + city + '&children=1&offset=1&page=1&extensions=all'
data = requests.get(url, headers=headers)
data.encoding = 'utf-8'
data = json.loads(data.text)
pprint(data)
result = data['pois'][0]['location'].split(',')
return result[0], result[1]
print(":".join(["CSDN叶庭云", "https://yetingyun.blog.csdn.net/"]))
get_location("四川省", "成都市")
下面再用一个简单的案例,带大家感受一下。
dic = {"status":"1","info":"OK","infocode":"10000",
"count":"1",
"geocodes":[{"formatted_address":"上海市","country":"中国","province":"上海市","citycode":"021","city":"上海市","district":[],"township":[],"neighborhood":{"name":[],"type":[]},"building":{"name":[],"type":[]},"adcode":"310000","street":[],"number":[],"location":"121.473701,31.230416","level":"省"}]}
有这样一个嵌套字典,是关于上海市的地理位置信息的,如果想要获标签 location 对应的经纬度数据,我们应该这样做:
pprint(dic)
结果如下:
对于上面这个数据,大家应该看一眼就知道怎么提取经纬度数据,代码如下所示:
data = dic["geocodes"][0]["location"]
longitude, latitude = data.split(",")
print(data)
print("经度:", longitude)
print("纬度:", latitude)
结果如下:
网页源代码返回的 json 数据,基本都是类似的,只要你搞清楚了它的结构关系,后面 for 循环遍历提取对应的数据就好。
也有大佬做了 JSON 数据在线解析和格式化、以及转 XML 的在线网页,如下所示: