python json key_【Python】爬虫数据提取之JSON与JsonPATH

数据提取-json

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。JSON和XML的比较可谓不相上下。 

Python 2.7中自带了JSON模块，直接import json就可以使用 

官方文档：http://docs.python.org/library/json.html

Json在线解析网站：http://www.json.cn/#

json简单说就是javascript中的对象和数组，所以这两种结构就是对象和数组两种结构，通过这两种结构可以表示各种复杂的结构 

• 对象：对象在js中表示为{ }括起来的内容，数据结构为 { key：value, key：value, ... }的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为 对象.key 获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。 

• 数组：数组在js中是中括号[ ]括起来的内容，数据结构为 ["Python", "javascript", "C++", ...]，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

数据提取-json模块

json模块提供了四个功能：dumps、dump、loads、load，用于字符串 和 python数据类型间进行转换。

1. json.loads()把Json格式字符串解码转换成Python对象 从json到python的类型转化对照如下：

示例：

# json_loads.py

2. json.dumps() 

实现python类型转化为json字符串，返回一个str对象 把一个Python对象编码转换成Json字符串 从python原始类型向json类型的转化对照如下：

示例：

# -*- coding:utf-8 -*-

运行：

4, 

chardet是一个非常优秀的编码识别模块，可通过pip安装

3. json.dump() 

将Python内置类型序列化为json对象后写入文件

# -*- coding:utf-8 -*-

4. json.load() 

读取文件中json形式的字符串元素 转化成python类型 

# json_load.py

JsonPath

JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。 

JsonPath 对于JSON 来说，相当于 XPATH 对于 XML。 

下载地址：https://pypi.python.org/pypi/jsonpath

安装方法：点击Download URL链接下载jsonpath，

解压之后执行python setup.py install 

官方文档：http://goessner.net/articles/JsonPath

JsonPath与XPath语法对比：Json结构清晰，可读性高，复杂度低，非常容易匹配，下表中对应了XPath的用法：

JsonPath-示例

以某网城市JSON文件：http://www.lagou.com/lbs/getAllCitySearchLabels.json 为例，获取所有城市。

g:utf-

效果：

注意事项

json.loads() 是把 Json格式字符串解码转换成Python对象，如果在json.loads的时候出错，要注意被解码的Json字符的编码。 

如果传入的字符串的编码不是UTF-8的话，需要指定字符编码的参数 encoding 

如：

dataDict = json.loads(jsonStrGBK);

dataJsonStr是JSON字符串，假设其编码本身是非UTF-8的话而是GBK 的，那么上述代码会导致出错，改为对应的： 

dataDict = json.loads(jsonStrGBK, encoding=

如果 dataJsonStr通过encoding指定了合适的编码，但是其中又包含了其他编码的字符，则需要先去将dataJsonStr转换为Unicode，然后再指定编码格式调用json.loads()

dataJsonStrUni = dataJsonStr.decode(

字符串编码转换 

其实什么乱码之类的几乎都是由汉字引起的。

解决办法： 任何平台的任何编码 都能和 Unicode 互相转换 UTF-8 与 GBK 互相转换，那就先把UTF-8转换成Unicode，再从Unicode转换成GBK，反之同理。

# 这是一个 UTF-8 编码的字符串

说明：

decode的作用是将其他编码的字符串转换成 Unicode 编码 

encode的作用是将 Unicode 编码转换成其他编码的字符串

总之：UTF-8是对Unicode字符集进行编码的一种编码方式

完

  码上加油站

  一起来加油

长按扫码关注

记得点个 赞 和 在看 哦！