爬虫(4)-使用Ajax爬取今日头条表情包图片

本文介绍如何使用Ajax技术爬取今日头条的表情包图片。首先通过分析网络请求,找到XHR类型的Ajax请求,利用变化的offset参数获取更多图片信息。接着,通过判断source节点存在来过滤无效数据。在代码实现过程中,遇到文件名非法字符问题,采用replace函数处理。然而,爬取的图片质量不如网页原图,通过对URL的比对和改进,实现了完整获取原图的目标。
摘要由CSDN通过智能技术生成

认为有用的话请点赞,码字不易,谢谢。

其他爬虫实战请查看:https://blog.csdn.net/qq_42754919/category_10354544.html**

爬取今日头条表情包图片

1.获取信息

通过F12打开页面信息,在网络选项卡中选择XHR类型,通过下拉网页,网络选项卡中增加文件数量,这就是我们需要爬取的ajax文件。点击一个文件获取我们需要的GET网址信息。
在这里插入图片描述
我们发现除了offset参数发生改变,其他的参数不变,因此改变offset参数可以爬取更多的信息。(最后面的几个信息可以忽略不计)

我们打开response响应信息,所有的页面信息都在data节点中,在data节点中

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值