使用Python爬取微博高清美女大图

打开微博官网,这里以爬取美女博主Duebass的所有图片为例,首先打开她的主页

主页中显示的都是一些小图,我们点击其中的某一张图片,就可以查看她的大图了。

打开F12查看图片的地址信息,

//wx4.sinaimg.cn/mw690/75614297ly1g2sq66raswj21vl2qae82.jpg

复制这个地址去源代码中搜索,我们发现搜索不到这个url,那么狠明显,图片的地址信息是存放在js或者json文件中的。由于电脑端查看的信息不是很完整,这里我们使用手机端的模式来查看。点击左上角的手机图标然后刷新页面就可以切换到手机浏览模式

切换到手机视图之后,我们再打开Network这个选项,刷新页面信息,可以看到服务的发送了很多的文件过来,翻看这些文件我们发现其中有一个以getIndex开头的文件里面返回的信息中,包含了大量的图片的地址信息,使用浏览器打开这些图片,

图片正是我们所需要的,有些是大图,有些是小图,进一步分析发现,在一个pics数组中,带有large属性的图片是大图,而没有的则是小图。

知道这些信息之后,我们还需找到其他的分页地址信息,因为当前返回的数据中的图片并没有多少,用鼠标拖动页面获取更多的图片,然后在network中找到对应的地址,复制两个不同页的地址我们可以发现,除了page不同之外,其他的都是相同的。

https://m.weibo.cn/api/container/getIndex?is_hot[]=1&is_hot[]=1&jumpfrom=weibocom&type=uid&value=1969308311&containerid=1076031969308311&page=3
https://m.weibo.cn/api/container/getIndex?is_hot[]=1&is_hot[]=1&jumpfrom=weibocom&type=uid&value=1969308311&containerid=1076031969308311&page=4

最后我们还需找到一共有多少页,

查看头部信息

total的数量是4081,然后每页大概有几十张图片,我们将page参数的值改成50,查看头信息,发现page显示的是50,然后将page值改成60,发现显示的还是50,说明它的页数也就是50了,知道这些信息之后,那么写出代码就变得很简单了。

#爬取微博 Duebass的图片

from urllib import request
import re
import ssl

file_path = 'F:/blog/'
#http://wallpaper.apc.360.cn/index.php?c=WallPaper&a=getAppsByCategory&cid=6&start=6590&count=50
base_url = 'https://m.weibo.cn/api/container/getIndex?is_hot[]=1&is_hot[]=1&jumpfrom=weibocom&type=uid&value=1969308311&containerid=1076031969308311&page='

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1',
    'Accept': 'application/json, text/plain, */*',
    'Referer': 'https://m.weibo.cn/p/1005051969308311/photos?from=page_100505&from=page_100505&mod=TAB&mod=TAB&jumpfrom=weibocom'
}

context = ssl._create_unverified_context()

for i in range(5, 6):
    try:
        realurl = base_url+str(i)
        req = request.Request(url=realurl, headers=header)
        #resp = requests.get(realurl, headers=header)
        resp = request.urlopen(req, context=context).read().decode()
        print('==============正在下载第'+str(i)+'页的图片===============')
        # 先获取所有的large里面的url,注意观察,大图的url中都包含/large,那么我们获取所有的url然后过虐掉不包含/large的url就行了
        pat = '"url":"(.*?)"'
        list1 = re.compile(pat).findall(resp)
        list2 = filter(lambda url : url.find('/large') != -1, list1)
        list2 = list(list2)
        for j in range(0, len(list2)-1):
            pic_url = list2[j].replace('\/', '/')
            request.urlretrieve(pic_url, file_path+str(i)+str(j)+'.jpg')
        print('============第' + str(i) + '页的图片下载完成===============')

    except Exception as error:
        print(error)

下载过程中可能会出现计算机拒绝等异常信息,可根据控制台打印的情况,将出了异常的页数重新下载。

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页