Python爬虫中处理Ajax返回的json数据问题

最新推荐文章于 2024-06-18 17:19:36 发布

qq_41422774

最新推荐文章于 2024-06-18 17:19:36 发布

阅读量1.6k

点赞数

分类专栏： python 文章标签： python Ajax

本文链接：https://blog.csdn.net/qq_41422774/article/details/99833488

版权

本文探讨了Python爬虫如何应对Ajax加载的网页内容，特别是处理返回的json数据。通过模拟浏览器请求，解析并获取隐藏在动态加载中的关键信息。

摘要由CSDN通过智能技术生成

原网网页不包含想要的数据，网页数据是后面通过Ajax加载出来的。
如下面就是模仿浏览器进行请求，返回的是如下的json数据：
在这里插入图片描述

import requests,json

def getPage(page):
	url = 'https://m.weibo.cn/api/container/getIndex?'
	head = {'Accept': 'application/json, text/plain',
		  'Sec-Fetch-Mode': 'cors',
		  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
		  'X-Requested-With': 'XMLHttpRequest'}
	params = {'type': 'uid',
              'value': '2830678474',
              'containerid': '1076032830678474',
              'page': page}

	try:
		r = requests.get(url, headers=head,params= params)
		# 这里会自动将参数和url组成这种格式,r.url可以查看：
		# https://m.weibo.cn/api/contai