网络爬虫--Ajax爬虫

什么是Ajax？

为什么要用Ajax？

1. 问：浏览器中可看到正常显示的数据，但使用requests得到的结果并没有。 这是什么原因呢?
   答：requests获取的是原始的HTML文档，而浏览器中的页面是经过JS处理数据后生成的结果。
2. 问：这些数据的来源有哪些情况呢?
   答：Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成。

什么是Ajax？
Ajax(Asynchronous JavaScript and XML)异步的JS和XML。原理是: 利用JS在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。 比如我们在刷微博的时候，只需不断的滚动鼠标，内容就会不断的加载出来（页面刷新），而页面的链接并没有发生变化。

Ajax如何分析页面？

问：拖动刷新的内容由Ajax加载且页面的URL无变化，那么应该到哪里去查看这些Ajax请求呢？

答：1. 开发者工具(F12)->Network选项卡, 获取页面加载过程中Browser与Server之间请求和响应。
2. 筛选出所有的Ajax请求。在请求的上方有一层筛选栏，直接点击XHR(Ajax特殊的响应类型)
3. 模拟Ajax请求，提取我们所需要的信息。

打开Ajax的XHR过滤器，然后一直滑动页面以加载新的微博内容。可以看到，会不断有Ajax请求发出。请求的参数有4个：type、value、containerid和page。

项目案例： 微博数据采集

项目需求：爬取微博内容和图片下载。

1. 登录手机版微博，网址：https://m.weibo.cn/
   

2. 输入查询的内容
   

3. 右键审查元素，点击network,选择XHR，再点击右侧的data

可以看到图片在data/cards/myblog/pics/下，这就是我们要爬取的内容。

项目案例：基于Ajax和requests采集器的微博爬虫

import os

import requests

from colorama import Fore
from fake_useragent import UserAgent
from requests import HTTPError


def download_page(url, parmas=None):
    """
    根据url地址下载html页面
    :param url:
    :param parmas:
    :return: str
    """
    try:
        ua = UserAgent()
        headers = {
            'User-Agent': ua.random,
        }
        # 请求https协议的时候， 回遇到报错: SSLError
        # verify=Flase不验证证书
        response = requests.get(url, params=parmas, headers=headers)
    except  HTTPError as e:
        print(Fore.RED + '[-] 爬取网站%s失败: %s' % (url, str(e)))
        return None
    else:
        # html = response.text  --- 字符串
        # json.loads(html) ---- 将字符串反序列化为python数据类型
        # return response.json()
        return response


def parse_html(html):
    cards = html.get('data').get('cards')
    count = 0
    for card in cards:
        try:
            count += 1
            text = card['mblog'].get('text')
            pics = card['mblog'].get('pics')
            print('第%s篇微博正文内容:%s' %(count, text))
            if pics:
                for index, pic in enumerate(pics):
                    pic_url = pic.get('url')
                    pic_content = download_page(pic_url).content
                    pic_fname = os.path.join('weibo_pics', pic_url.split('/')[-1])
                    with open(pic_fname, 'wb',) as f:
                        f.write(pic_content)
                        print('下载%s张图片成功' %(index + 1))
        except Exception as e:
            print('下载博客失败：%s' %(str(e)))




if __name__ == '__main__':
    uid = input("请输入你要爬取的博主的uid： ")
    for page in range(10):
        url = 'https://m.weibo.cn/api/container/getIndex?uid=%s&containerid=100103%stype=uid&page_type=searchall&page=%s' %(uid, uid, page)
        html = download_page(url).json()
        parse_html(html)

这是爬取的图片：