day2-json请求和xpath解析

最新推荐文章于 2023-12-27 18:48:43 发布
最新推荐文章于 2023-12-27 18:48:43 发布
阅读量445 收藏
点赞数
文章标签： json python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62840623/article/details/121128608
版权

json数据

1. json的作用

让不同编程语言之间可以进行有效的数据交流(几乎所有的高级语言都支持json数据格式)

2. 什么是json

一个有效的json有且只有一个数据，并且唯一的这个数据必须是json支持的类型的数据。

json支持的数据类型：
数字 - 直接写,例如：100、+23、-45、12.5、3e4
字符串 - 加双引号，只有双引号，例如：“yuting”、“重庆”、“abc\n123”
布尔 - 只有true和false两个值
空值 - null
数组(列表) - 相当于Python的列表： [元素1, 元素2, 元素3,…]
字典 - 键必须是字符串: {键1:值1, 键2:值2,…}

3. json数据解析

1） 如果通过requests发送请求得到的数据就是json数据，可以直接用响应.json()将json数据转换成Python数据。
2） 非json接口提供的json数据的解析。
系统模块：json -> 提供将json数据转换成Python数据，以及将Python数据转换成json数据两个功能。

json.loads(json格式的字符串) - 将json转Python，返回值的类型会因为字符串的内容不同而不一样。

json.dumps(python数据) - 将Python数据转换json格式的字符串，返回值是字符串。

说明：json格式的字符串 - 字符串的内容是json格式的数据，例如：‘100’、’“abc”’、’{“a”: 100}’
int、float、str、bool、list、dict、None、tuple - 可以转成json数据

import json
# json转换python
result = json.loads('100')
print(result, type(result))  # 100 <class 'int'>

result = json.loads('"abc"')
print(result, type(result))  # abc <class 'str'>

result = json.loads('{"a": 100}')
print(result, type(result))  # {'a': 100} <class 'dict'>

result = json.loads('[100, "abc", true, null]')
print(result, type(result))  # [100, 'abc', True, None] <class 'list'>

# python转json
result = json.dumps(100)
print(result, type(result))  # 100 <class 'str'>

result = json.dumps('abc')
print(result, type(result))    # "abc" <class 'str'>

result = json.dumps([100, 12.4, True, None, 'hello', [10, 'a'], {10: 20}, (100, 200)])
print(result, type(result))     # '[100, 12.4, true, null, "hello", [10, "a"], {"10": 20}, [100, 200]]'<class 'str'>

获取多页数据

# https://movie.douban.com/top250?start=0&filter=
# https://movie.douban.com/top250?start=25&filter=
# https://movie.douban.com/top250?start=50&filter=

import requests


def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
    }
    r = requests.get(url, headers=headers)
    r.encoding = r.apparent_encoding
    return r.text


def get_all_data():
    for x in range(0, 226, 25):
        url = f'https://movie.douban.com/top250?start={x}&filter='
        get_html(url)

xpath数据解析

运行环境：from lxml import etree
lxml: 可以通过xpath的方法来解析html数据和xml数据

1. 创建树结构，获取根节点

etree.HTML(html代码) - 将html页面创建成一个树结构，并且返回树的根节点。

html_node = etree.HTML(open('files/网页.html', encoding='utf-8').read())
print(html_node)  # <Element h1 at 0x6718667980>

2. 根据路径获取指定标签

节点对象.xpath(路径) - 返回值是列表，列表中的元素就根据路径找到的所有的结果
1） 绝对路径 - /从根节点开始写全路径
注意：绝对的写法和查找方式跟前面谁去.xpath没有关系

h1_node = html_node.xpath('/html/body/div/h1')[0]
print(h1_node)      # <Element h1 at 0x1108cf500>

p_nodes = html_node.xpath('/html/body/div/p')
print(p_nodes)       # [<Element p at 0x10bab15c0>, <Element p at 0x10bab1600>]

div_node_2 = html_node.xpath('/html/body/div')[-1]

result = div_node_2.xpath('/html/body/div/p')
print(result)

2） 相对路径: ./路径、. ./路径
用 . 表示当前节点 （谁去.xpath，当前节点就是谁）
用 . . 表示当前节点的上层节点

result = html_node.xpath('./body/div/p')
print(result)       # [<Element p at 0x104edb780>, <Element p at 0x104edb7c0>]

result = div_node_2.xpath('./p/text()')
print(result)       # [<Element p at 0x10e542900>]

result = div_node_2.xpath('../div/h1/text()')
print(result)

3） 全局搜索: //
//路径

result = html_node.xpath('//img')
print(result)       # [<Element img at 0x10c9fa780>, <Element img at 0x10c9fa880>, <Element img at 0x10c9fa8c0>, <Element img at 0x10c9fa900>, <Element img at 0x10c9fa940>]

result = html_node.xpath('//div/img')
print(result)   # [<Element img at 0x10502b940>, <Element img at 0x105

3. 获取标签内容和标签属性

1） 标签内容：获取标签的路径/text()

result = html_node.xpath('//p')
print(result)       # [<Element p at 0x10b74b880>, <Element p at 0x10b74b8c0>, <Element p at 0x10b74ba40>, <Element p at 0x10b74b980>, <Element p at 0x10b74bb00>]

result = html_node.xpath('//p/text()')
print(result)       # ['什么都卖!', '可以购买的商品!', '泡面', '火腿肠', '可乐'

属性值：获取标签的路径/@属性名

lt = html_node.xpath('//img')
print(result)   # [<Element img at 0x108189a00>, <Element img at 0x108189b00>, <Element img at 0x108189980>, <Element img at 0x108189ac0>, <Element img at 0x108189b80>]

result = html_node.xpath('//img/@src')
print(result)   # ['https://img1.baidu.com/it/u=3160659086,3725745087&fm=253&fmt=auto&app=120&f=JPEG?w=500&h=500', 'https://img1.baidu.com/it/u=3160659086,3725745087&fm=253&fmt=auto&app=120&f=JPEG?w=500&h=500', 'https://img1.baidu.com/it/u=3160659086,3725745087&fm=253&fmt=auto&app=120&f=JPEG?w=500&h=500', 'https://img0.baidu.com/it/u=1309756832,682125188&fm=26&fmt=auto', 'https://img0.baidu.com/it/u=707176316,890856051&fm=26&fmt=auto']

4. 谓语

1） [N] - 获取第N个（同级中取第N个）

result = html_node.xpath('//p[1]/text()')
print(result)

result = html_node.xpath('//ul/li[2]/p/text()')
print(result)

2） [last()] - 取最后一个（同级最后一个）

result = html_node.xpath('//ul/li[last()]/p/text()')
print(result)

# [last()-1]  - 倒数第2个
# [last()-2]  - 倒数第3个
result = html_node.xpath('//ul/li[last()-1]/p/text()')
print(result)

# [position() < 3]  - (1, 2)获取前两个
# [position() <= 3]   - (1,2,3)获取前3个
# [position() > 1]   - 从第2开始取完
result = html_node.xpath('//ul/li[position()<=2]/p/text()')
print(result)

result = html_node.xpath('//ul/li[position()>1]/p/text()')
print(result)

3） 属性相关谓语
[@属性名=值] - 获取指定属性为指定值的标签

# 获取body下面第一个div中class获取为c1的p标签
result = html_node.xpath('./body/div[1]/p[@class="c1"]/text()')
print(result) # ['我是段落1', '我是段落3']

# 获取页面中id为p1的p标签
result = html_node.xpath('//p[@id="p1"]/text()')
print(result) # ['我是段落4']

result = html_node.xpath('//p[@class="c1"]/text()')
print(result) # ['我是段落1', '我是段落3', '我是段落6']

4. 通配符

# * - 通配符，表示所有类型的标签
# 获取class为c1所有标签
result = html_node.xpath('//*[@class="c1"]/text()')
print(result) # ['我是段落1', '我是段落3', '超链接1', '我是段落6']

result = html_node.xpath('./body/div[1]/*/text()')
print(result)  # ['我是段落1', '我是段落2', '我是段落3', '我是段落4', '我是段落5', '超链接1']

5. 分支

路径1|路径2 - 按照两种路径获取标签

result = html_node.xpath('./body/div[1]/a|./body/div[1]/p')
print(result)

xpath解析豆瓣

import requests
from lxml import etree


def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
    }
    r = requests.get(url, headers=headers)
    r.encoding = r.apparent_encoding
    return r.text


if __name__ == '__main__':
    result = get_html('https://movie.douban.com/top250')
    # 解析
    html_node = etree.HTML(result)
    all_li = html_node.xpath('//ol[@class="grid_view"]/li')
    # print(all_li)
    for li in all_li:
        name = li.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
        score = li.xpath('./div/div[2]/div[2]/div/span[@class="rating_num"]/text()')[0]
        print(score)
m0_62840623
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
json请求和xpath解析
weixin_46254514的博客
11-03 1966
json数据 1.json的作用 让不同编程语言之间可以进行有效的数据交流（几乎所有的高级语言都支持json数据） 2.什么是json 一个有效的json有且只有一个数据，并且唯一的这个数据必须是json支持的类型的数据。 json支持的数据类型： 数字 --直接写，例如：100，12.5，-3，+4，3e4 字符串 --加双引号，只有双引号，例如：“张三” 布尔 —只有true和false两个值 空值 --null 数组 —想当于Python的列表 字典 --键必须是字符串 3.json数据解析 1）如果
基于Vue实现JSONPath和XPath的解析
柯晓楠
05-19 1788
1. 效果演示 JSONPath和XPath解析 一键复制Path规则 代码校验 2. 需求说明 XPath是一种在一个XML文档中寻址的语言，为XSLT和XPointer而设计。Path的主要目的是在一个XML文档中寻址。支持这个主要目的，它还提供基本功能来操纵字符串、数字和布尔值。 JSONPath为JSON文档提供了解析能力，通过使用JSONPath，你可以方便的查找节点、获取想要的数据，JSONPath是JSON版的XPath。 （注：关于JOSNPath和XPath的语法就不再赘述，需要了解
【网络爬虫】JSON和XPath介绍
最新发布
weixin_47074034的博客
12-27 1616
文章内容包括JSON的结构的基本介绍和XPath的主要表达式介绍及应用示例，以及XPath在浏览器页面获取方法。（仅用来记录网课笔记）
Python JSON模块与JsonPath
kai46385076的专栏
11-21 298
数据提取之JSON与JsonPATH JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Python 2.7中自带了JSON模块，直接import json就可以使用了。 官方文档：http...
使用JSONPath解析json数据
kuizuo12的博客
09-20 2700
使用JSONPath解析json数据审核中 之前学习爬虫的时候，如果是 HTML 的数据，通过 xpath 或是 css 选择器，就能很快的获取我们想要的数据，如果是 json 有没有类似 xpath 这种，能够直接根据条件定位数据，而不需要自行 json 解析在遍历获取。答案是有的，也就是 JSONPath。 在线测试网址JSONPath 在线验证 所选用的环境是 Node + JavaScript，用到 jsonpath 这个包jsonpath - npm (npmjs.com) 参考链...
json-xpath：在JSON文档上提供XPath支持
02-04
`json-xpath-master`压缩包可能包含了`json-xpath`库的源代码，包括实现、测试案例以及相关的文档。通过查看这些源代码，开发者可以深入理解其工作原理，甚至可以根据需要对其进行定制或扩展。 总之，`json-xpath`...
play-json-xml：在play-json和xml之间转换，例如json4s
02-06
在开发Web应用时，数据交换格式的选择至关重要，JSON和XML都是常见的数据表示方式。`play-json`和`xml4s`是Scala生态系统中处理这两种格式的库，而`play-json-xml`则提供了它们之间的互转功能。这篇文章将详细介绍`...
c-json-path:XPath 的基本纯 C 实现，如 JSON 数据的查询库。 没有分配，没有 C++。 适用于微控制器和传感器
07-06
c-json-path XPath 的基本纯 C 实现，如 JSON 数据的查询库。 没有分配，没有 C++。 适用于微控制器和传感器。 #API： 只需要一个函数： int json_parse ( char *json, char *hunt, int match_index, char *match_...
json断言jmeter-plugins-json.rar
05-25
在实际使用过程中，你需要了解JSON和JsonPath的基本语法，以便编写有效的表达式。例如，`$.name` 可以获取JSON对象的根元素下的"name"属性，`$[*].name` 则可以获取所有数组元素的"name"属性。 为了更好地利用这些...
java使用xpath解析xml示例分享
09-04
在Java中，XPath被用来解析XML文档，查找和操作XML中的特定节点。XPath基于XML文档的树形结构，允许我们通过简洁的表达式定位到树中的任何节点，包括元素、属性、文本等。以下是使用Java的XPath API解析XML文档的一...
JsonPath使用类似XPATH的语法从JSON提取数据
08-07
JsonPath：使用类似XPATH的语法从JSON提取数据
Python爬虫：掌握json与xpath两种数据采集方式的不同
2301_78159247的博客
08-09 887
在爬虫中，json和xpath是两种常见的数据采集方式。综上所述，json和xpath都是重要的数据采集方式，各自具有优缺点和适用场景。在实际应用中，需要根据具体情况选择合适的方式来实现数据采集和处理。使用Python进行JSON数据的解析，需要使用json模块。而使用XPath进行XML文档的解析，则需要使用lxml库。在爬虫中，JSON常用于API接口的调用和响应数据的解析。而XPath则主要用于HTML页面中元素的定位和内容的提取。在数据处理中，JSON常用于数据存储、传输和格式转换。
xpath规则解析json格式数据
jinming215的博客
12-10 1229
class JsonNode(object): def __init__(self, json_data): self.json_data = json_data def obj_json(self): return self.json_data def ad(self): pass class AnalyzeJsonData(object): def __init__(self, json_data):
怎么使用javascript解析Json数据并获取元素JsonPath与深度
m0_48342140的博客
02-05 1233
JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java，JsonPath 对于 JSON 来说，相当于 XPATH 对于 XML。 JsonPath与Xpath用法对比 Java使用Jsonpath解析json数据 Js获取Json每个节点的JsonPath 将输出结果转换成树形结构 1.JsonPath与Xpath用法对比 XPath JSONPath 描述 /
JSONPATH 使用，不仅可以解析json，几乎有xpath所有功能，还可以解析对象
zhouyong19871123的专栏
06-01 2219
jsonpath
json、xpath数据的快捷检阅方法，使用jsonpath将拉钩的json数据提取某一个并且保存到本地（保存有两种方法）的实战
weixin_55579895的博客
09-20 523
JSONPath 表达式始终以与 XPath 表达式与 XML 文档结合使用的相同方式引用 JSON 结构 红线为常用的json路径写法 - 递归下降：不管前面有什么，只要找到他就可以 JSONPath 示例 实战：将拉钩的json数据提取某一个并且保存到本地 注意点 一定要加请求头，能带上代理参数就带上代理参数（反反爬虫） 快代理网址（https://www.kuaidaili.com/free/inha/2/） 字符串不能直接使用jsonpath进行解析，dict字典是可以的， 方法1：使用jso
Python爬虫基础（二）：使用xpath与jsonpath解析爬取的数据
秃了也弱了
09-12 2043
JsonPath只能解析json文件，而不是像xpath既可以解析文件，也可以直接解析字符串。所以说，想要使用JsonPath解析JSON，只能将爬取的json数据保存到本地之后，才能进行解析。XPathJSONPath表示根元素当前元素. or []子元素n/a父元素//递归下降，JSONPath是从E4X借鉴的。通配符，表示所有的元素n/a属性访问字符[][]子元素操作符[,]连接操作符在XPath 结果合并其它结点集合。JSONP允许name或者数组索引。
android json字符串转成json对象_JsonPath解析json字符串
weixin_39763683的博客
11-26 456
背景：接口自动化测试实现简单、成本较低、收益较高，越来越受到企业重视restful风格的api设计大行其道json成为主流的轻量级数据交换格式痛点：接口关联也称为关联参数。在应用业务接口中，完成一个业务功能时，有时候一个接口可能不满足业务的整个流程逻辑，需要多个接口配合使用，简单的案例如：B接口的成功调用依赖于A接口，需要在A接口的响应数据（response)中拿到需要的字段，在调用B接口的时候，...
Python爬虫学习笔记（五）————JsonPath解析
laosao_66的博客
07-17 2865
目录1.JSONPath —— xpath在json的应用2.JSONPath 表达式3.jsonpath的安装及使用方式4.jsonpath的使用5.JSONPath语法元素和对应XPath元素的对比6.实例 （1）商店案例（2） 解析淘票票的“城市选择”数据 pip安装： pip install jsonpath obj = json.load(open('json文件', 'r', encoding='utf‐8')) ret = jsonpath.jso
java json通过xpath解析
10-01
Java中可以通过XPath解析JSON数据。虽然XPath主要是用于XML文档的解析，但是也可以通过一些工具库将JSON数据转换为XML格式，然后再使用XPath进行解析。 首先，需要引入相关的依赖库，比如json-lib或者Jackson库，并将其添加到项目的依赖中。 然后，将JSON数据转换为XML格式，可以使用json-lib中的XMLSerializer类，或者也可以使用Jackson库提供的JsonXMLMapper类。这些类可以将JSON数据转换为标准的XML格式。 接下来，在转换为XML格式的JSON数据上，可以使用XPath表达式进行解析。可以使用javax.xml.xpath包中提供的XPath类来实现。可以利用XPath类提供的compile()方法编译XPath表达式，然后通过evaluate()方法对XML数据进行解析，得到符合XPath表达式的节点集合或者属性值。 最后，根据实际情况，对解析得到的节点集合或者属性值进行操作，可以通过遍历节点集合，或者直接获取属性值等方式来获取所需的数据。 需要注意的是，由于JSON数据的结构灵活性较强，可能存在一些复杂的情况，比如嵌套、数组等，需要根据具体情况调整XPath表达式的编写和解析过程。另外，XPath解析JSON数据可能比直接使用JSON解析更加复杂和低效，因此在实际应用中需要根据需求权衡选择合适的解析方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值