Python3 爬虫教程（三）

最新推荐文章于 2024-08-16 23:38:56 发布

一望红尘

最新推荐文章于 2024-08-16 23:38:56 发布

阅读量481

点赞数

分类专栏： python3爬虫文章标签： Python3 爬虫

本文链接：https://blog.csdn.net/weixin_43895377/article/details/101931059

版权

python3爬虫专栏收录该内容

5 篇文章 0 订阅

订阅专栏

根据爬取到的链接下载文件

还是那个充满福利的网站
不过这次我们先来点别的，来点前置的技术
先从网上随便找一张图片下载下来，这点比较简单，直接上代码了

import requests

url = 'http://img.mp.itc.cn/upload/20170115/41577bdc81e248fd830b4758d7ccd52e_th.jpeg'
img = requests.get(url)
with open('涂山雅雅.jpeg','wb') as f:
    f.write(img.content)
    f.close()

在这里插入图片描述
知道链接了，下载就是这么简单

那么我们来下载一下mzitu.com的图片，爬取链接我就不写了，直接右键获取了，因为在之前学习的时候有写的全套的（下载单个套图，批量下载指定套图，下载整站套图，单线程多线程的都有，都是从不会到会一点点的学过来的）
所以不想再写了（爬虫不就是为了偷懒）
在这里插入图片描述
爬这个吧

import requests

headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
        }

url = 'https://i5.meizitu.net/2019/07/06c02.jpg'
img = requests.get(url=url,headers=headers)
print(img)
with open('mzitu.jpg','wb') as f:
    f.write(img.content)
    f.close()

在这里插入图片描述
哦哦，失败了，返回403
这是另一重反爬虫措施，防盗链
这个的原理在于你的请求必须经过别的页面跳转才行，至于跳转的页面是不是指定的就要自己测试了，不过为了不麻烦，直接设置跳转页面就是mzitu.com的页面得了
头部加"Referer": ‘https://www.mzitu.com/193626’,这里批量下载的时候要修改一下，改成变量

import requests

headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
            'Referer': 'https://www.mzitu.com/193626'
        }

url = 'https://i5.meizitu.net/2019/07/06c02.jpg'
img = requests.get(url=url,headers=headers)
print(img)
with open('mzitu.jpg','wb') as f:
    f.write(img.content)
    f.close()