实战某平台Ajax数据爬取

0x01 Ajax介绍

有些时候，网址没有刷新，但是网页内容不停的刷新，这可能就用到了Ajax技术，例如下面这种情况，只要滑动滚轮，会一直有消息

0x02 抓包分析

1、打开F12抓包工具，发现类型为xhr的数据包

2、打开响应内容，里面是JSON数据

3、我们要获取的是JSON数据里“content”数据

"created_at": 1661764548,
            "id": 223,
            "updated_at": 1661764548,
            "collect": 0,
            "comment_num": 0,
            "content": "#这瓜保熟#\n听说用友畅捷通T+大面积中了勒索病毒，大家怎么看",
            "content_img": "[\"https://yakit-online.oss-cn-hongkong.aliyuncs.com/img/2022082917151616617645167523r3A.jpeg\"]",
            "content_video": "",
            "cover": "",

0x03 获取源码

import requests
import logging


url = "https://www.yaklang.com/api/dynamic/issue?page=2&limit=10&order=desc"
heads = {


'Authorization': 'eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJhcHBpZCI6Im9aZjVXNncyc3lCd2x2UTJVYlNia2NkOHBSRkUiLCJmcm9tUGxhdGZvcm0iOiJ3ZWNoYXQiLCJ0aW1lIjoxNjYyODEyNzQyMTUzNTUyMjE3fQ.qe-SmCalFx1d0jr0uryk8GQeEMocsP7-l9aWE4TsXoA',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
logging.captureWarnings(True)#屏蔽警告
r = requests.get(url, headers=heads,verify=False)


print(r.json())

1、因为需要登录才能获取数据，所以需要传入“Authorization”值，类似于cookie

2、captureWarnings，输出结果有个警告，这句代码可以屏蔽警告

3、verify=False，不验证网址的安全性，否则会报错。

0x04 从源码中获取我们需要的数据

import requests
import logging
import re


url = "https://www.yaklang.com/api/dynamic/issue?page=2&limit=10&order=desc"
heads = {


'Authorization': 'eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJhcHBpZCI6Im9aZjVXNncyc3lCd2x2UTJVYlNia2NkOHBSRkUiLCJmcm9tUGxhdGZvcm0iOiJ3ZWNoYXQiLCJ0aW1lIjoxNjYyODEyNzQyMTUzNTUyMjE3fQ.qe-SmCalFx1d0jr0uryk8GQeEMocsP7-l9aWE4TsXoA',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
logging.captureWarnings(True)#屏蔽警告
r = requests.get(url, headers=heads,verify=False).text
res=re.findall('"content":(.*?)"content_img"',r)
print(res)
运行结果：  ['"#中秋送福利#师傅们快来啊",', '"护饼使者   饼来",', '"#长亭科技8周年生日快乐# 今天长亭8周年生日会。点赞评论抽取xray社区精美月饼一盒。友商四维创智YYDS，Yak YYDS。",', '"不给月饼，可以给几个猪猪侠的超级棒棒糖嘛~",', '"yakit，我的超人",', '"我来当个分母₍˄·͈༝·͈˄*₎◞ ̑̑，，",', '"临近中秋，也不知道你们过的好不好，也不知道你们想不想家人，反正我不是很好，技术又没有长进，女朋友也不知道在哪，还没有钱唉。。。所以今天疯狂星期四，有好兄弟v我50让我参加一下世界500强的活动吗？",', '"我也要月饼礼盒",', '"我要月饼礼盒\\n",', '"#中秋送福利#看图！月饼礼盒已备好！截至时间9月8日18：00，祝大家节日快乐，好运附体！",']

0x05 声明

仅供安全研究与学习之用，若将工具做其他用途，由使用者承担全部法律及连带责任，作者不承担任何法律及连带责任。

欢迎关注编程者吧