爬虫（6）-json和jsonpath

1.JSON使用

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互JSON和XML的比较可谓不相上下Python 中自带了JSON模块，直接import json就可以使用了。

官方文档：json — JSON encoder and decoder — Python 3.12.1 documentation

Json在线解析网站：JSON在线解析及格式化验证 - JSON.cn

Python中的json模块

json模块提供了四个功能：

• dumps：实现python类型转化为json字符串，返回一个str对象 把一个Python对象编码转换成Json字符串##json->str
• dump：将Python内置类型序列化为json对象后写入文件##json->doc
• loads：把Json格式字符串解码转换成Python对象 从json到python的类型转化##str->json
• load：读取文件中json形式的字符串元素 转化成python类型##doc->json

import json
str_='{"name":"战狼"}'
print(type(str_))
print('-----str to obj-----')
odj=json.loads(str_)
print(type(odj))
print('-----obj to str-----')
tmp_str=json.dumps(odj,ensure_ascii=False)
print(type(tmp_str))
print('-----obj to file-----')
json.dump(odj,open('json.txt','w',encoding='utf-8'),ensure_ascii=False)
print('-----file to obj-----')
obj2=json.load(open('json.txt','r',encoding='utf-8'))
print(type(obj2))

2.Jsonpath使用

JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Python，Javascript， PHP 和 Java。JsonPath 对于 JSON 来说，相当于 XPATH 对于 XML。其属于第三方模块库，需要安装

pip install jsonpath

官方文档：JSONPath - XPath for JSON

2.1xpath和jsonpath对比

import requests
from fake_useragent import UserAgent
from jsonpath import jsonpath
import json
url='http://www.lagou.com/lbs/getAllCitySearchLabels.json'
headers={'User-Agent': UserAgent().chrome}
response=requests.get(url,headers=headers)
obj=json.loads(response.text)
ids=jsonpath(obj,'$..id')
names=jsonpath(obj,'$..name')
for i,j in zip(ids,names):
    print(f'id:{i} name:{j}')