理解和弄懂Ajax
# -*- coding: utf-8 -*-
# @Time : 2022/1/1 21:22
# @Author :liuw
# @File : Ajax.py
# @Software: PyCharm
'''
request获取的是原始的html文档,浏览器中的页面是经过JS处理数据后生成的结果
数据来源有许多种,可能是通过ajax加载的,可能是包含在html文档中,可能是经过JS和特定算法计算后生成的
Ajax--Asynchronous JavaScript and xml,即异步的JS和XML,利用JavaScript在保证页面不被刷新、页面
链接不改变情况下与服务器交换数据并更新部分网页的技术
对于传统的网页想更新内容,必须刷新整个界面
有了Ajax 可以在页面不被全部刷新时更新内容,这个过程中后台与服务器进行了数据交互,获取到数据后,利用JavaScript改变网页,这样网页内容就会更新了
实际例子:刷微博下滑提示没有新内容,转而出现一个加载动画,不一会又会有新的微博内容,该过程就是Ajax加载的过程
基本原理
1.发送请求
2.解析内容
3.渲染网页
'''
来一个实际例子
用 Chrome 浏览器打开微博的链接 https://m.weibo.cn/u/2830678474,随后在页面中点击鼠标右键,从弹出的快捷菜单中选择 “检查” 选项,此时便会弹出开发者工具,切换到 Network 选项卡,随后重新刷新页面,Ajax 其实有其特殊的请求类型,它叫作 xhr。在图 6-4 中,我们可以发现一个名称以 getIndex 开头的请求,其 Type 为 xhr,这就是一个 Ajax 请求
2.过滤请求
Chrome 开发者工具的筛选功能筛选出所有的 Ajax 请求。在请求的上方有一层筛选栏,直接点击 XHR,此时在下方显示的所有请求便都是 Ajax 请求,此时我们已经分析出Ajax请求的一些详细信息,接下来就是用程序模拟Ajax请求,提取我们需要的信息
6.3Ajax 结果提取
```python
# 实战演练
from urllib.parse import urlencode
import requests
from pyquery import PyQuery as pq
base_url = 'https://m.weibo.cn/api/container/getIndex?'
headers = {
'Host': 'm.weibo.cn',
'Referer': 'https://m.weibo.cn/u/2830678474',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest',
}
def get_page(page):
params = {
'type': 'uid',
'value': '2830678474',
'containerid': '1076032830678474',
'since_id': '4719378697814658'
}
url = base_url + urlencode(params)
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.json()
except requests.ConnectionError as e:
print('Error', e.args)
#定义一个解析方法 从结果中提取我们需要的信息 如需要保存的微博id 正文 赞数 评论数等等
def parse_page(json):
if json:
items = json.get('data').get('cards')
for item in items:
item = item.get('mblog')
weibo = {}
weibo['id']=item.get('id')
weibo['text']=pq(item.get('text')).text()
weibo['attitudes'] = item.get('attitudes_count')
weibo['comments'] = item.get('comments_count')
weibo['reposts'] = item.get('reposts_count')
yield weibo
# if __name__ == '__main__':
# for page in range(1,2):
# json = get_page(page)
# results = parse_page(json)
# for result in results:
# print(result)
#暂时不明白since_id如何配置
6.4 分析Ajax爬取今日头条街拍美图 暂未实现需要调整代码