使用python3分析Ajax爬取今日头条上的街拍美图

　　有的网站是通过Ajax异步的返回json数据，这种情况下使用爬取静态网站的方法是不能获取我们想要的信息的。比如，现在我们想爬取今日头条的街拍美图，打开http://www.toutiao.com/输入关键字“街拍”进行搜索：
　　
　　

　　点击搜索后发现这个页面是通过Ajax响应的，比如当我们滑到底部可以看见，页面在异步地生成响应结果：
　　
　　
　　
　　按F12打开开发者工具，可以查看到Ajax请求发送的参数：
　　
　　
　　
　　然后结合请求的url，分析html节点之间的关系，我们可以通过如下的代码实现抓取街拍图集，返回图集标题、url和子图的url集合，并将每一个图集的每一张子图存到项目根目录：
　　
config.py

# 指定搜索的参数offset范围为[GROUP_START*20,(GROUP_END+1)*20]
GROUP_START = 1
GROUP_END = 5
# 搜索关键字，可以改变
KEYWORD = '街拍'

CrawlerAjax.py

import os
import re
from multiprocessing import Pool
from urllib.parse import urlencode
from hashlib import md5
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
import requests
import json
from config import *


# 获取索引页
def get_index_page(offset, keyword):
    # Ajax请求参数
    data = {
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': 3
    }
    params = urlencode(data)
    base = 'http://www.toutiao.com/search_content/'
    url = base + '?' + params
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求索引页出错', url)
        return None


# 解析索引页
def parse_index_page(html):
    data = json.loads(html)
    if data and 'data' in data.keys():
        for item in data.get('data'):
            yield item.get('article_url')


# 获取详情页
def get_detail_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求详情页出错', url)
        return None


# 解析详情页
def parse_detail_page(html, url):
    soup = BeautifulSoup(html, 'html.parser')
    title = soup.select('title')[0].get_text()
    images_pattern = re.compile('var gallery = (.*?);', re.S)
    result = re.search(images_pattern, html)
    if result:
        data = json.loads(result.group(1))
        if data and 'sub_images' in data.keys():
            sub_images = data.get('sub_images')
            images = [image.get('url') for image in sub_images]
            res = {
                'title': title,
                'url': url,
                'images': images
            }
            print(res)
            for image in images:
                download_image(image)
            return res


# 下载图片
def download_image(url):
    print('downloading', url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            # content和text的区别：content返回二进制内容
            save_image(response.content)
        return None
    except RequestException:
        print('请求图片出错', url)
        return None


# 保存图片
def save_image(content):
    file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), 'jpg')
    if not os._exists(file_path):
        with open(file_path, 'wb') as f:
            f.write(content)
            f.close()


def main(offset):
    html = get_index_page(offset, KEYWORD)
    urls = parse_index_page(html)
    for url in urls:
        html = get_detail_page(url)
        res = parse_detail_page(html, url)


# if __name__ == '__main__':
#     main(20)

# 开启多线程
if __name__ == '__main__':
    pool = Pool()
    group = [x * 20 for x in range(GROUP_START, GROUP_END + 1)]
    pool.map(main, group)
    pool.close()
    pool.join()

运行结果：