Python爬虫之Json数据提取，jsonpath，demjson库的使用

一、JsonPath

JsonPath是一种信息提取抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript，Python，PHP和java。
JsonPath对于Json来说，相当于Xpath对于XML

安装方法

pip install jsonpath

语法对比

JsonPath与Xpath语法对比
json结构清晰，可读性高，复杂度低，非常容易匹配。

使用方法

jsonpath.jsonpath(obj, exp)

obj：被提取的文本
exp：jsonpath表达式

示例代码：

    def paser_json(self, json_txt):
        ret = jsonpath.jsonpath(json_txt, '$..name')
        print(ret)

二、demJson

对于非常规范的json文本，我们可以用json库或是jsonpath库来提取我们想要的内容，但对于不规范的json文本，使用json库就会报错，这是demjson就会帮我们完成任务。

demjson有两个常用的方法：

2.1decode方法

将json对象转化为Python对象

示例代码：

import demjson

# 创建一个字符串
strl = "[{'name': 'Tom', 'age': 12, 'gender': 'man'}]"
# 打印类型，str类型
print(type(strl))
# decode方法转化为Python对象
ret = demjson.decode(strl)
# 打印类型，list类型
print(type(ret))
# 打印结果
print(ret)
输出结果：
<class 'str'>
<class 'list'>
[{'name': 'Tom', 'age': 12, 'gender': 'man'}]

2.2encode方法

将Python对象转化为json对象
示例代码：

import demjson

# 创建一个字符串
strl = "[{'name': 'Tom', 'age': 12, 'gender': 'man'}]"
# decode方法转化为Python对象
ret = demjson.decode(strl)
# encode方法转化为json对象
ret1 = demjson.encode(ret)
print(type(ret1))
print(ret1)
输出结果：
<class 'str'>
[{"age":12,"gender":"man","name":"Tom"}]