四、爬虫数据-json

最新推荐文章于 2023-06-28 15:42:29 发布

冰柠づ

最新推荐文章于 2023-06-28 15:42:29 发布

阅读量665

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/xxzjjyo/article/details/104343651

版权

本文介绍了数据提取的概念，包括非结构化数据HTML的处理和结构化数据JSON的处理。强调了JSON在爬虫中的优势，因为它可以轻松转化为Python数据类型。文中提供了两个案例，一个是使用payload爬取掘金个人页面，另一个是爬取王者荣耀所有英雄图片，通过实例展示了JSON数据在爬虫中的应用。

摘要由CSDN通过智能技术生成

数据提取

什么是数据提取？
简单的来说，数据提取就是从相应中获取我们想要的数据的过程

数据分类

非结构化数据：HTML
处理方法：正则表达式、xpath
结构化数据：json、xml
处理方法：转化为Python数据类型

数据提取之json

由于把json数据转化为python内建数据类型很简单，所以爬虫中，如果我们能够找到返回json数据的URL，就会尽量使用这种URL
JSON是⼀种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。
使用json注意点：json中的字符串都是双引号
在这里插入图片描述

小测试

在这里插入图片描述

爬取掘金个人页面案例（重点是payload）

import requests
import json


def main():
    url = 'https://web-api.juejin.im/query'

    import requests

    headers = {
   
        'X-Legacy-Device-Id': '1578291836583',
        'Origin': 'https://juejin.im',
        'X-Legacy-Uid'