jsonpath模块

最新推荐文章于 2024-04-27 07:06:38 发布

Ronin__L

最新推荐文章于 2024-04-27 07:06:38 发布

阅读量459

点赞数 1

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/Ronin__L/article/details/115689981

版权

爬虫专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文介绍了jsonpath模块在处理多层嵌套JSON数据时的应用，通过实例展示了如何安装、使用jsonpath进行数据提取，以及其语法规则。在示例中，我们看到jsonpath能方便地按路径获取字典中的值，如从拉勾网城市JSON数据中提取所有城市名称。

摘要由CSDN通过智能技术生成

jsonpath模块

一、jsonpath模块的使用场景

如果有一个多层嵌套的复杂字典，想要根据key和下标来批量提取value，这是比较困难的。jsonpath模块就能解决这个痛点
jsonpath可以按照key对python字典进行批量数据提取

二、 jsonpath模块的使用方法

1、 jsonpath模块的安装

jsonpath是第三方模块，需要额外安装

pip install jsonpath

2、 jsonpath模块提取数据的方法

from jsonpath import jsonpath
ret = jsonpath(a, 'jsonpath语法规则字符串')

3、 jsonpath语法规则

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pk4G6pzm-1618362845301)(.\images\jsonpath的方法.png)]$

4、 jsonpath练习

1、示例1如下：

from jsonpath import jsonpath
data = {"key1":{"key2":{"key3":{"key4":{"key5":{"key6":"jsonpath"}}}}}}
# print(data["key1"]["key2"]["key3"]["key4"]["key5"]["key6"])
print(jsonpath(data,'$..key6'))

在这里插入图片描述

2、示例2如下：

#coding:utf-8
import jsonpath
import json


book_dict = '''{ 
  "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}'''

data = json.loads(book_dict)
print(jsonpath.jsonpath(data, "$..color"))
print(jsonpath.jsonpath(data, "$..price"))

在这里插入图片描述

3、示例3如下：

以拉勾网城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 为例

import requests
import jsonpath
import json

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
response = requests.get('https://www.lagou.com/lbs/getAllCitySearchLabels.json', headers=headers)

dict_data = json.loads(response.content)

print(jsonpath.jsonpath(dict_data,'$..name'))

在这里插入图片描述