Ajax分析方法

理解和弄懂Ajax

# -*- coding: utf-8 -*-
# @Time : 2022/1/1 21:22
# @Author :liuw
# @File : Ajax.py
# @Software: PyCharm
'''
request获取的是原始的html文档,浏览器中的页面是经过JS处理数据后生成的结果
数据来源有许多种,可能是通过ajax加载的,可能是包含在html文档中,可能是经过JS和特定算法计算后生成的
Ajax--Asynchronous JavaScript and xml,即异步的JS和XML,利用JavaScript在保证页面不被刷新、页面
链接不改变情况下与服务器交换数据并更新部分网页的技术
对于传统的网页想更新内容,必须刷新整个界面
有了Ajax 可以在页面不被全部刷新时更新内容,这个过程中后台与服务器进行了数据交互,获取到数据后,利用JavaScript改变网页,这样网页内容就会更新了
实际例子:刷微博下滑提示没有新内容,转而出现一个加载动画,不一会又会有新的微博内容,该过程就是Ajax加载的过程

基本原理
1.发送请求
2.解析内容
3.渲染网页
'''

来一个实际例子
用 Chrome 浏览器打开微博的链接 https://m.weibo.cn/u/2830678474,随后在页面中点击鼠标右键,从弹出的快捷菜单中选择 “检查” 选项,此时便会弹出开发者工具,切换到 Network 选项卡,随后重新刷新页面,Ajax 其实有其特殊的请求类型,它叫作 xhr。在图 6-4 中,我们可以发现一个名称以 getIndex 开头的请求,其 Type 为 xhr,这就是一个 Ajax 请求Ajax请求
2.过滤请求
Chrome 开发者工具的筛选功能筛选出所有的 Ajax 请求。在请求的上方有一层筛选栏,直接点击 XHR,此时在下方显示的所有请求便都是 Ajax 请求,此时我们已经分析出Ajax请求的一些详细信息,接下来就是用程序模拟Ajax请求,提取我们需要的信息
过滤出Ajax请求
6.3Ajax 结果提取


```python
# 实战演练
from urllib.parse import urlencode
import requests
from pyquery import PyQuery as pq

base_url = 'https://m.weibo.cn/api/container/getIndex?'

headers = {
    'Host': 'm.weibo.cn',
    'Referer': 'https://m.weibo.cn/u/2830678474',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}

def get_page(page):
    params = {
        'type': 'uid',
        'value': '2830678474',
        'containerid': '1076032830678474',
        'since_id':  '4719378697814658'
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.json()
    except requests.ConnectionError as e:
        print('Error', e.args)

#定义一个解析方法 从结果中提取我们需要的信息 如需要保存的微博id 正文 赞数 评论数等等
def parse_page(json):
    if json:
        items = json.get('data').get('cards')
        for item in items:
            item = item.get('mblog')
            weibo = {}
            weibo['id']=item.get('id')
            weibo['text']=pq(item.get('text')).text()
            weibo['attitudes'] = item.get('attitudes_count')
            weibo['comments'] = item.get('comments_count')
            weibo['reposts'] = item.get('reposts_count')
            yield weibo


# if __name__ == '__main__':
#     for page in range(1,2):
#         json = get_page(page)
#         results = parse_page(json)
#         for result in results:
#             print(result)
    #暂时不明白since_id如何配置
6.4 分析Ajax爬取今日头条街拍美图 暂未实现需要调整代码
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值