分析Ajax爬取今日头条街拍美景

# -*- coding: utf-8 -*-
import os
import re
import json
import requests
from urllib.parse import urlencode


def get_one_page(offset, keyword):
    '''
    获取网页html内容并返回
    '''
    paras = {
        'offset': offset,  # 搜索结果项开始的位置
        'format': 'json',  # 返回的数据格式
        'keyword': keyword,  # 搜索的关键字
        'autoload': 'true',  # 自动加载
        'count': 20,  # 每次加载结果的项目数
        'cur_tab': 3,  # 当前的tab页索引，3为“图集”
        'from': 'gallery'  # 来源，“图集”
    }

    url = 'https://www.toutiao.com/search_content/?' + urlencode(paras)
    try:
        # 获取网页内容，返回json格式数据
        response = requests.get(url)
        # 通过状态码判断是否获取成功
        if response.status_code == 200:
            return response.text
        return None
    except requests.ConnectionError:
        return None


def parse_one_page(html):
    '''
    解析出组图网址,并将网页中所有图集的标题及图片地址返回
    '''
    urls = []
    data = json.loads(html)
    for item in data.get('data'):
        page_urls = []
        title = item.get('title')
        image_detail = item.get('image_list')
        for i in range(len(image_detail)):
            # 获取large图片地址
            url = 'https:' + image_detail[i]['url']
            page_urls.append(url)
        urls.append({'title': title, 'url_list': page_urls})
    return urls

def save_image_file(url, path):
    '''
    保存图像文件
    '''
    ir = requests.get(url)
    if ir.status_code == 200:
        with open(path, 'wb') as f:
            f.write(ir.content)
            f.close()


def main(offset, word):
    html = get_one_page(offset, word)
    urls = parse_one_page(html)

    # 图像文件夹不存在则创建
    root_path = word
    if not os.path.exists(root_path):
        os.mkdir(root_path)

    for i in range(len(urls)):
        print('---正在下载 %s' % urls[i]['title'])
        folder = root_path + '/' + urls[i]['title']
        if not os.path.exists(folder):
            try:
                os.mkdir(folder)
            except NotADirectoryError:
                continue
            except OSError:
                continue

        url_list = urls[i]['url_list']
        for j in range(len(url_list)):
            path = folder + '/index_' + str("%02d" % j) + '.jpg'
            if not os.path.exists(path):
                save_image_file(urls[i]['url_list'][j], path)


if __name__ == '__main__':
    # 抓取2000个图集，基本上包含全部图集
    for i in range(100):
        main(i * 20, '街拍')

---正在下载 成都街拍，牛仔裙与牛仔裤的夏季时尚单品，更能彰显青春范十足
---正在下载 重庆街拍，夏季休闲穿搭参考，你喜欢哪一款？
---正在下载 北京街拍，漂亮的连衣裙搭配起来，让你女人味十足！
---正在下载 成都街拍，好看的T恤与小背心，个性百搭又不失时尚！
---正在下载 成都街拍，好看的连衣裙，一万条也不会嫌多！
---正在下载 「街拍分享时间」在重庆，遇见最美的女神
---正在下载 重庆街拍，连衣裙与长裙，怎么搭配才好看？
---正在下载 最美街拍，不老情怀
---正在下载 南京路步行街街拍
---正在下载 成都街拍，黑色与白色的混搭，碰撞出不一样的时尚美！
---正在下载 成都街拍，连衣裙与短裙的夏季穿搭，哪一个更美？
---正在下载 王鸥最美的一组街拍，优雅时尚的精致女人，迷人至极的小姐姐
---正在下载 杨幂又变瘦了，腿细到吓人，网友：哪怕只有一天也想以这身材活着
---正在下载 街拍美：被风吹过的夏天
---正在下载 成都街拍，夏季搭配单品，牛仔裤与牛仔裙你更喜欢哪一个？
---正在下载 街拍性感长发美女
---正在下载 本来就很白，再配上一身白造型，感觉何穗都要白到反光了！
---正在下载 成都街拍，夏季牛仔裤与阔腿裤的穿搭，哪一个才是你的最爱？
---正在下载 李冰冰穿这么休闲坐飞机肯定很舒服，黑白配超经典，腿长两米八哦
---正在下载 街拍，不同年龄不同职业的人展现出不同的魅力
---正在下载 街拍，不同年龄不同职业的人展现出不同的魅力
---正在下载 宋祖儿机场街拍
---正在下载 奚梦瑶现身法国玩街拍，对镜头微笑打招呼引来大叔频频回头
---正在下载 蒋梦婕这腿真的太细了，女生看了估计都想拥有！
---正在下载 街拍婚纱照就是要有点时尚感
---正在下载 元气少女赵艺，时尚街拍酷美时髦气场足
---正在下载 街拍是潮流所向，街拍是最好的穿衣示范
---正在下载 杨洋怕赶不上飞机一路狂奔，可面对镜头还是要很帅气地凹造型！
---正在下载 很有味道的街拍
---正在下载 街拍女神高圆圆踩单车，360度无死角美出新高度！
---正在下载 刘诗诗气质短发街拍
---正在下载 街拍：重庆小姐姐街拍，是谁说重庆没有美女的？
---正在下载 短牛仔美女街拍
---正在下载 阅乐随街拍
---正在下载 鲁豫上海机场街拍
---正在下载 国际机场的街拍与街头街拍鲜明对比
---正在下载 倪妮清爽可爱街拍
---正在下载 半红不紫的范玮琪，机场街拍曝光 俏皮灵动元气满满
---正在下载 马思纯，网友：包包开关没弄好就街拍，看了肯定很难受！
---正在下载 图虫街拍摄影：街拍
---正在下载 「街拍」《Vogue》编辑的10个街拍穿搭造型
---正在下载 香港街拍！
---正在下载 费启鸣机场街拍
---正在下载 迪丽热巴机场街拍
---正在下载 炎炎夏日，街拍
---正在下载 苏州十全街街拍
---正在下载 日本旅行——街拍
---正在下载 时尚最街拍
---正在下载 环球小姐的街拍
---正在下载 图虫摄影：街拍
---正在下载 街拍超模吉吉·哈迪德Gigi Hadid曼哈顿街拍！
---正在下载 图虫街拍摄影：长沙扫街
---正在下载 古巴街拍一掠
---正在下载 图虫街拍摄影：南浔古镇花间堂
---正在下载 图虫摄影：街拍人生。
---正在下载 张天爱街拍
---正在下载 图虫摄影：万博街拍
---正在下载 韩庚机场街拍
---正在下载 娜雅·里维拉 街拍
---正在下载 王凯红色主题街拍
---正在下载 北京798艺术区街拍
---正在下载 佟丽娅，街拍，自然美
---正在下载 图虫风光摄影：街拍
---正在下载 米兰时装周精选街拍（一）
---正在下载 杨幂，大衣被街拍
---正在下载 Selina街拍美照曝光
---正在下载 街拍,Street snap
---正在下载 图虫摄影：新春袁家村街拍
---正在下载 街拍日记，温暖回忆
---正在下载 图虫街拍摄影：佚姝街拍
---正在下载 图虫街拍摄影：街拍——北京清晨，路灯
---正在下载 街拍：什么是合格的老公？就是老婆怀孕后给老婆打扮的漂漂亮亮的
---正在下载 春夏港风街拍
---正在下载 夏季街拍达人走心推荐的几款T恤，看着洋气减龄，不仅凉快还显瘦
---正在下载 王鸥最美的一组街拍，优雅时尚的精致女人，迷人至极
---正在下载 图虫摄影：街拍
---正在下载 迪丽热巴最新街拍
---正在下载 图虫摄影：美丽街拍。
---正在下载 图虫摄影：残幅街拍
---正在下载 图虫摄影：长沙街拍
---正在下载 图虫摄影：爱街拍
---正在下载 图虫摄影：街拍
---正在下载 图虫人像摄影：街拍
---正在下载 图虫街拍摄影：P20P手持街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 迪丽热巴甜美气质街拍
---正在下载 图虫摄影：佛山街拍红棉。
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫人像摄影：街拍
---正在下载 图虫摄影：春节街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫摄影：新浪微博：小平街拍
---正在下载 图虫摄影：街拍：百姓生活65
---正在下载 图虫街拍摄影：无锡街拍
---正在下载 图虫街拍摄影：街拍，人像
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫摄影：随性街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫街拍摄影：岘港街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫街拍摄影：除夕夜景街拍
---正在下载 图虫摄影：街拍《元宵节》
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫街拍摄影：街拍，狗狗
---正在下载 图虫街拍摄影：街拍南京