Python爬取mn52网站美女图片以及图片防盗链的解决方法

防盗链原理

http标准协议中有专门的字段记录referer
一来可以追溯上一个入站地址是什么
二来对于资源文件，可以跟踪到包含显示他的网页地址是什么
因此所有防盗链方法都是基于这个Referer字段

学习python中有什么不懂的地方，小编这里推荐加小编的python学习群：895,817, 687
有任何不懂的都可以在里面交流，还有很好的视频教程pdf学习资料，大家一起学习交流！

so:很多网站使用防盗链的方法来设置反爬虫机制，设置这种机制后通过图片路由直接访问会返回403错误，

其实解决办法很简单，加入header，然后把Referer写入即可！

headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
        'Referer': url
    }

本文爬取https://www.mn52.com/网站上面的清纯美女图片，代码如下；

# 需要的库
import requests
import re
import os
from multiprocessing import Pool
# 主函数
def get_img(url):
    # 设置图片存储路径
    path = './mn52/'
    if not os.path