数据提取jsonpath

数据提取jsonpath

数据提取概述

​ 什么是数据，数据就是分为哪几种？

数据是什么？

“数据（data）是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。

数据的分类：

结构化数据，非结构化数据。

结构化数据：

	结构化数据：先有结构，再有数据

​ son文件json path转换为python类型进行操作(json类)都属于结构化数据

非结构化数据：

	非结构化数据:先有数据，再有结构

​ 文本、电话号码、邮箱地址 通过正则表达式来进行匹配（.*?）HTML文本: 正则表达式 xpath css选择器都属于非结构化数据。

xml文件转化为python类型(xmltodict) xpath css选择器 正则表达式

认识Json

​ JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

json简单说就是javascript中的对象和数组，所以这两种结构就是对象和数组两种结构，通过这两种结构可以表示各种复杂的结构

1.对象：对象在js中表示为{ }括起来的内容，数据结构为 { key：value, key：value, … }的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为 对象.key 获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。

2.数组：数组在js中是中括号[ ]括起来的内容，数据结构为 [“Python”, “javascript”, “C++”, …]，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

import json
json模块提供了四个功能：dumps、dump、loads、load，用于字符串 和 python数据类型间进行转换。

如图1：

json.loads()
把Json格式字符串解码转换成Python对象 从json到python的类型转化对照如下：

 json.dumps()
实现python类型转化为json字符串，返回一个str对象 把一个Python对象编码转换成Json字符串

从python原始类型向json类型的转化对照如下：

如图2：

json.dump()
将Python内置类型序列化为json对象后写入文件

 json.load()
读取文件中json形式的字符串元素 转化成python类型

数据提取jsonpath模块

jsonpath

JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。

JsonPath 对于 JSON 来说，相当于 XPATH 对于 XML。

下载地址：https://pypi.python.org/pypi/jsonpath

安装方法：点击Download URL链接下载jsonpath，解压之后执行python setup.py install

官方文档：http://goessner.net/articles/JsonPath

JsonPath与XPath语法对比：
Json结构清晰，可读性高，复杂度低，非常容易匹配，下表中对应了XPath的用法。

如图3：

jsonpath练习

数据：

book_dict = '''{ 
  "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}'''

题目：

取第三本书
去store中的所有的book的作者
所有的作者
store下的所有的元素
store中的所有的内容的价格
第三本书
最后一本书
前两本书
获取所有的数据

import json
import  jsonpath
# 取第三本书
data=json.loads(book_dict)
#print(jsonpath.jsonpath(data,"$..bicycle"))
# 去store中的所有的book的作者
#print(jsonpath.jsonpath(data,"$..store.book[*].author"))
# 所有的作者
#print(jsonpath.jsonpath(data,"$..author"))
# store下的所有的元素
#print(jsonpath.jsonpath(data,"$..store"))
#print(jsonpath.jsonpath(data,"$.store.*"))
# store中的所有的内容的价格
# print(jsonpath.jsonpath(data,"$.store.book[*].price"))
#print(jsonpath.jsonpath(data,"$..price"))
# 第三本书
# 最后一本书
#print(jsonpath.jsonpath(data,"$..book[-1:]"))
# 前两本书
#print(jsonpath.jsonpath(data,"$..book[0:2:1]"))
# 获取所有的数据
print(jsonpath.jsonpath(data,"$.."))

下载jsonpath可以通过终端安装：

pip install jsonpath