python爬取微博配图

平时没事就喜欢刷刷微博，追追星，关注关注娱乐圈动态顺便看看老婆们的最新动态，每次看到老婆们发的新图就很幸福，于是就想写个爬虫把老婆们的微博配图给爬下来，一般爬到的不是自拍就是表情包，还是收获满满的。
因为最近学到了一句话:不要重复造轮子。所以第一当然是去看一看有没有别的写出来的成品，然后发现确实有，但没有找到特别合适的，当然每个人都有自己的要求，别人的代码不符合自己的需求也是正常的。不过看了这么多代码，自然也就有了个大概的思路，于是经过三天两夜的努力，就有了这篇作品，看着老婆们静静地躺在我的硬盘里对我甜甜地笑着，心里真的别提有多开心了(*￣3￣)╭
思路
首先遇到的问题是去哪个页面抓取，开始自己尝试的时候是直接去微博网页端:https://www.weibo.com，然后发现…好像有点难，不知道从何下手，听说api还限制了爬取速度，爬的贼慢，所以web端pass。接着我又去了移动端也就是html5版:https://m.weibo.cn,听说接口也比较好，是比较好实现的，但我这条菜鸟又遇到了一个问题，因为html5版的微博页面和web端一样也是采用动态加载的，什么是动态加载呢，就是你打开一页可以一直往下翻，他会一直帮你自动加载，直到底部。这就导致了代码是根据你的行为(鼠标的点击等等)不断变化的。所以我就选择了更加简单的移动版，应该是老年机版:https://weibo.cn,这里的页面是分页式的，代码好像也是静态的，十分轻松就能完成任务。
接着第二个问题是模拟登陆，开始我想着是post模拟登陆输入用户账号和密码即可，后来发现是我想多了…好像有点困难，于是就采用了cookie直接登陆，这个方法简单粗暴，适合我这种菜鸡。cookie直接在chrome按f12选择Network点击第一个网页，再点右边的Headers–>Request Headers，赋值下面的cookie即可。百度可以很轻松的找到方法。
想清楚上面的问题后就开始分析移动端的网页构造了，经过分析源代码，发现微博总页数是一个input标签的value属性，而input标签的name属性为’mp’，这是唯一的。然后每条微博的代码块由div标签闭合，含有id属性并且class属性的值均为’c’。微博配图所对应的url链接由img标签闭合，而且该标签的alt属性的值均为’图片’。然后微博发送时间的标签为span标签，span标签的class属性的值为’ct’，这也是发送时间的代码块特有的属性值。
屁话少说，放码过来

import requests
from bs4 import BeautifulSoup as bs
import os
import re

#uid即进入对方微博主页后网址部分/u/后的那一串数字
uid = input('请输入所要爬取的用户id:')
url = 'https://weibo.cn/u/' + uid
cookie = input('请输入你的新浪微博的cookie:')
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36', 'Cookie': cookie}

r = requests.get(url, headers=headers)
soup = bs(r.text, 'html.parser')
# 所访问的微博用户名
weibo_user_name = soup.find('title').text.replace('的微博', '')
# 存放图片的根目录
rootDir = 'D://微博配图相册//' + weibo_user_name + '//'
# 微博总页数,通过审查元素可知
totalPage = int(soup.find('input', attrs={'name': 'mp'}).attrs['value'])
print('总共检测到%d页微博页面' % totalPage)
# 每页微博的URL的列表
weibo_urlList = [url + '?page=' + str(i + 1) for i in range(totalPage)]
#当前已爬取的图片总数
pictrue_num = 0
for page, weibo_url in enumerate(weibo_urlList):
    r = requests.get(weibo_url, headers=headers)
    soup = bs(r.text, 'html.parser')
    #每条微博所对应的标签代码块列表
    weibo_tags_list = soup.find_all('div', attrs={'class': 'c'}, id=True)
    #微博发送时间与微博配图的字典
    imgs_urls_dic = {}
    for entry, weibo_tag in enumerate(weibo_tags_list):
        print('正在爬取第%d页第%d条微博' % (page + 1, entry + 1))
        #获取微博发送时间
        hms = ' '.join(weibo_tag.find(
            'span', attrs={'class': 'ct'}).text.replace('\xa0', ' ').replace(':', '-').split(' ')[:2])
        #该条微博若带有组图，获取组图中所有图片的URL
        if weibo_tag.find('a', text=re.compile('组图')):
            imgs_url = weibo_tag.find('a', text=re.compile('组图')).attrs['href']
            html = requests.get(imgs_url, headers=headers)
            imgs_soup = bs(html.text, 'html.parser')
            imgs_tags_List = imgs_soup.find_all('img', alt='图片加载中...')
            img_urls_list = [imgs_tag.attrs['src'].replace(
                'thumb180', 'large') for imgs_tag in imgs_tags_List]
            imgs_urls_dic[hms] = img_urls_list
        #该条微博仅有一张配图，或者没有图片，获取图片的URL
        else:
            img_tags_List = weibo_tag.find_all('img', alt='图片')
            img_urls_list = [img_tag.attrs['src'].replace(
                'wap180', 'large') for img_tag in img_tags_List]
            imgs_urls_dic[hms] = img_urls_list
    print('第%d页微博爬取完毕,开始生成图片' % (page + 1))
    for hms, img_urls_list in imgs_urls_dic.items():
        for index, img_url in enumerate(img_urls_list):
            #生成图片的存放路径，图片被命名为微博发送时间
            path = rootDir + hms
            #如果一条微博在同一时间发送了多张图片(即组图)的命名处理
            if(index > 0):
                path = path + '(' + str(index) + ')'
            path = path + '.jpg'
            try:
                if not os.path.exists(rootDir):
                    #makedirs递归生成多级目录，mkdir仅能生成一级目录
                    os.makedirs(rootDir)
                if not os.path.exists(path):
                    r = requests.get(img_url)
                    with open(path, 'wb') as f:
                        f.write(r.content)
                        pictrue_num = pictrue_num + 1
                        print('success,成功爬取第%d张图片' % pictrue_num)
                else:
                    print('%s已经存在' % path)
            except:
                print('爬取失败,%s' % img_url)
print('总共爬取了%d张图片，存放在 %s 目录下' % (pictrue_num, rootDir))

食用方法
运行后输入目标用户id和自己的cookie就行了，运行结果是爬取目标微博的配图并以微博发送时间命名存放在指定目录下。然后就可以每天欣赏女神的各种高清写真了。经过测试，该代码可能会有bug爬取不下来的。但是感觉还是适用于大多数情况的。
感想
需求永远是第一生产力，老婆才是最大的动力！ ！ ！顺便吐槽一下idle和sublime，各种bug导致运行错误，快要被逼疯了！ ！ ！