Ajax分析方法

理解和弄懂Ajax

# -*- coding: utf-8 -*-
# @Time : 2022/1/1 21:22
# @Author :liuw
# @File : Ajax.py
# @Software: PyCharm
'''
request获取的是原始的html文档，浏览器中的页面是经过JS处理数据后生成的结果
数据来源有许多种，可能是通过ajax加载的，可能是包含在html文档中，可能是经过JS和特定算法计算后生成的
Ajax--Asynchronous JavaScript and xml,即异步的JS和XML，利用JavaScript在保证页面不被刷新、页面
链接不改变情况下与服务器交换数据并更新部分网页的技术
对于传统的网页想更新内容，必须刷新整个界面
有了Ajax 可以在页面不被全部刷新时更新内容，这个过程中后台与服务器进行了数据交互，获取到数据后，利用JavaScript改变网页，这样网页内容就会更新了
实际例子：刷微博下滑提示没有新内容，转而出现一个加载动画，不一会又会有新的微博内容，该过程就是Ajax加载的过程

基本原理
1.发送请求
2.解析内容
3.渲染网页
'''

来一个实际例子
用 Chrome 浏览器打开微博的链接 https://m.weibo.cn/u/2830678474，随后在页面中点击鼠标右键，从弹出的快捷菜单中选择 “检查” 选项，此时便会弹出开发者工具，切换到 Network 选项卡，随后重新刷新页面，Ajax 其实有其特殊的请求类型，它叫作 xhr。在图 6-4 中，我们可以发现一个名称以 getIndex 开头的请求，其 Type 为 xhr，这就是一个 Ajax 请求
2.过滤请求
Chrome 开发者工具的筛选功能筛选出所有的 Ajax 请求。在请求的上方有一层筛选栏，直接点击 XHR，此时在下方显示的所有请求便都是 Ajax 请求，此时我们已经分析出Ajax请求的一些详细信息，接下来就是用程序模拟Ajax请求，提取我们需要的信息

6.3Ajax 结果提取

```python
# 实战演练
from urllib.parse import urlencode
import requests
from pyquery import PyQuery as pq

base_url = 'https://m.weibo.cn/api/container/getIndex?'

headers = {
    'Host': 'm.weibo.cn',
    'Referer': 'https://m.weibo.cn/u/2830678474',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}

def get_page(page):
    params = {
        'type': 'uid',
        'value': '2830678474',
        'containerid': '1076032830678474',
        'since_id':  '4719378697814658'
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.json()
    except requests.ConnectionError as e:
        print('Error', e.args)

#定义一个解析方法 从结果中提取我们需要的信息 如需要保存的微博id 正文 赞数 评论数等等
def parse_page(json):
    if json:
        items = json.get('data').get('cards')
        for item in items:
            item = item.get('mblog')
            weibo = {}
            weibo['id']=item.get('id')
            weibo['text']=pq(item.get('text')).text()
            weibo['attitudes'] = item.get('attitudes_count')
            weibo['comments'] = item.get('comments_count')
            weibo['reposts'] = item.get('reposts_count')
            yield weibo


# if __name__ == '__main__':
#     for page in range(1,2):
#         json = get_page(page)
#         results = parse_page(json)
#         for result in results:
#             print(result)
    #暂时不明白since_id如何配置

6.4 分析Ajax爬取今日头条街拍美图 暂未实现需要调整代码