python网络爬虫——自学笔记2.1用requests库和re库爬取图片

记录下爬取图片失败的经历

本来想用re库和requests库来批量爬取p站的镜像网站vilipix的排行榜里的图片

代码如下

import os
import re

import requests

header = {'User-Agent': 'Mozilla/5.0'}
rank_url = "https://www.vilipix.com/ranking"
r = requests.get(url=rank_url, headers=header)

n=0
os.mkdir('D:/picture')

pic_url = re.findall('<img src="(.*?)" alt', r.text)


for img_url in pic_url:
    res = requests.get(url=img_url, headers=header, timeout=30)
    res.raise_for_status()
    res.encoding = res.apparent_encoding
    with open('D:/picture/'+str(n)+'.png','wb') as f:
        f.write(res.content)
        f.close()
    n=n+1

这个最主要的步骤就是用re库的findall方法来匹配网页里图片的url,于是我查看了页面源代码，发现里边以.jpg或.png结尾的图片的url,于是我就用findall的方法区匹配匹配完后再用一个for循环吧该页面的图片全部写入picture文件夹里，结果发现下载的和看到的图片完全不一样，找了好久才发现匹配的图片url是作者头像图片的url!

所以这次没有什么东西可以和大家分享了，真的很遗憾！

另外，如果有大佬知道怎么爬取的话能不能教教孩子，自学真的还挺困难的，谢谢！