【爬虫】数据提取之JSONpath

最新推荐文章于 2024-02-02 20:26:33 发布

语音不识别

最新推荐文章于 2024-02-02 20:26:33 发布

阅读量560

点赞数 1

文章标签： python 开发语言 json 大数据

本文链接：https://blog.csdn.net/all_bya/article/details/125569404

版权

安装

pip install jsonpath
# 或者
pip install jsonpath -i https://pypi.tuna.tsinghua.edu.cn/simple

使用

from jsonpath import jsonpath
ret = jsonpath(json_dict, 'jsonpath语法规则字符串')

jsonpath语法规则

JSONPath	描述
`$`	表示根元素
`@`	当前元素
`.` or`[]`	子元素
`n/a`	父元素,jsonpath未支持
`..`	不管位置，选择符合条件的元素
`*`	匹配所有元素节点
`n/a`	根据属性访问，jsonpath未支持，因为json是一个key:value的递归结果，不需要属性访问。
`[]`	迭代器标示，可以在里面做简单的迭代操作，如数组下标、根据内容选值等。
`[,]`	支持迭代器做多选
`?()`	支持过滤操作
`()`	支持表达式计算
`n/a`	分组，jsonpath未支持

举例

from jsonpath import jsonpath
book_dict = { 
  "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}
res = jsonpath(book_dict, '$.store.book[*].author ')
print(res)
#索引从0开始 [索引]
res = jsonpath(book_dict , '$.store.book[0]')
print(res)
#根据条件筛选 ?(@.字段>数值)
# .. 直达选中字段
res = jsonpath(book_dict, '$..book[?(@.price>10)]')
print(res)

JSONPath	描述
`$.store.book[*].author`	获取store中所有的book的作者
`$..author`	获取所有的作者
`$.store.*`	获取store下的所有的元素
`$.store..price`	获取store中的所有的图书的价格
`$..book[2]`	获取第三本书
`$..book[(@.length-1)] \| $..book[-1:]`	获取最后一本书
`$..book[0,1]\| $..book[:2]`	获取前两本书
`$..book[?(@.isbn)]`	获取有isbn的所有书
`$..book[?(@.price>10)]`	获取价格大于10的所有图书
`$..*`	获取所有的数据