Ajax爬虫

什么是Ajax爬虫？

1. 浏览器中可看到正常显示的数据，但使用requests得到的结果并没有。 这是什么原因呢?
requests获取的是原始的HTML文档，而浏览器中的页面是经过JS处理数据后生成的结果。
2. 这些数据的来源有哪些情况呢?
Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成

什么是Ajax？

Ajax(Asynchronous JavaScript and XML)异步的JS和XML。原理是: 利用JS在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。

Ajax如何分析页面？

拖动刷新的内容由Ajax加载且页面的URL无变化，那么应该到哪里去查看这些Ajax请求呢？

1. 开发者工具(F12)->Network选项卡, 获取页面加载过程中Browser与Server之间请求和响应。

2. 筛选出所有的Ajax请求。在请求的上方有一层筛选栏，直接点击XHR(Ajax特殊的响应类型)

3. 模拟Ajax请求，提取我们所需要的信息。

以手机版的微博为例分析页面：[https://m.weibo.cn]

打开Ajax的XHR过滤器，然后一直滑动页面以加载新的微博内容。可以看到，会不断有Ajax请求发出。请求的参数有4个：type、value、containerid和page。page现在变成了一个时间点
https://m.weibo.cn/api/container/getIndex?type=uid&value=5305630013&containerid=1076035305630013&since_id=4494435587407740
since_id是关于分页的关键字，可以用page=n来代替

项目案例

基于Ajax和requests采集器的微博爬虫
项目描述
本项目爬取的目标是新浪微博指定用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至 MySQL。
项目技能点
- Requests + Ajax(XHR) + Json解析
- Scrapy + Ajax(XHR) + Json解析 + SpiderKeeper可视化工具

import json
import re
import time

import requests
from colorama import Fore
from fake_useragent import UserAgent
from requests import HTTPError
import lxml
from lxml import etree

def download_page(url,params=None):
    try:
        ua = UserAgent()
        headers = {'User-Agent':ua.random}
        response = requests.get(url,params = params,headers=headers)
    except HTTPError as e:
        print(Fore.RED + '[-]爬取网站%s失败：%s' %(url,str(e)))
        return None
    else:
        # response.json()就像当于，html = response.text  json字符串
        # json.loads(html) 将字符串反序列化为python类型
        # return response.json()
        return response
def parse_html(html):
    cards = html.get('data').get('cards')
    count = 0
    for card in cards:
        try:
            count += 1
            text = card.get('mblog').get('text')
            # print(text)
            pattern = r'<.*?>'
            result = re.sub(re.compile(pattern),'',text)
            pics = card['mblog'].get('pics')
            if pics:
                for index,pic in enumerate(pics):
                    url = pic.get('url')
                    pic_content = download_page(url).content
                    img_name = url.split('/')[-1]
                    with open('weibo_pics/'+img_name,'wb') as f:
                        f.write(pic_content)
                        print('下载第%s张图片成功' %(index+1))
        except Exception as e:
            print('下载微博失败原因：%s' %(str(e)))
        else:
            print('第%s篇微博正文内容：%s' % (count, result))

if __name__ == '__main__':
    uid = input('请输入爬取博主的uid：')
    for page in range(1,11):
        url = 'https://m.weibo.cn/api/container/getIndex?uid=%s&containerid=107603%s&page=%s' %(uid,uid,page)
        html = download_page(url).json()
        # print(html)
        # print(type(html))
        parse_html(html)