Python爬虫（02）从网站下载图片

参考地址：http://blog.csdn.net/csdn2497242041/article/details/77170746

1. soup.find_all('img')可以设置多个筛选的属性

2.request.urlretrieve(url, filename)将所有远程链接数据下载到本地

目标网站为知乎的一篇帖子，下载从中爬取图片，先看一下源码以确定搜索的格式：

<img src="https://pic2.zhimg.com/50/9ea38ee8037b66b88a2425f833c4248d_hd.jpg" data-rawwidth="1528" data-rawheight="1528" class="origin_image zh-lightbox-thumb" width="1528" data-original="https://pic2.zhimg.com/9ea38ee8037b66b88a2425f833c4248d_r.jpg">

<img src="https://pic4.zhimg.com/50/8efbea49d1e8aed6716b309e48ec393a_hd.jpg" data-rawwidth="1234" data-rawheight="1642" class="origin_image zh-lightbox-thumb" width="1234" data-original="https://pic4.zhimg.com/8efbea49d1e8aed6716b309e48ec393a_r.jpg">

<img src="https://pic7.zhimg.com/50/15f9cb2c98e29cd19f8f70440aea435b_hd.jpg" data-rawwidth="1531" data-rawheight="2048" class="origin_image zh-lightbox-thumb" width="1531" data-original="https://pic7.zhimg.com/15f9cb2c98e29cd19f8f70440aea435b_r.jpg">

 

对比后发现搜索的格式可以为由img、class="origin_image zh-lightbox-thumb"和src来确定

 

附上源码：

#   _*_ coding:utf-8 _*_
import re
from urllib import request
from bs4 import BeautifulSoup
import time

__author__ = 'admin'
#   目标网站地址
url = "https://www.zhihu.com/question/22918070"
#   构造报文头信息
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
#   url请求，返回request对象
page = request.Request(url=url, headers=headers)
#   打开返回的网址
page_info = request.urlopen(page).read().decode('utf-8')
#   格式化网页
soup = BeautifulSoup(page_info, 'html.parser')
#   查找指定类型图片
links = soup.find_all('img', 'origin_image zh-lightbox-thumb', src=re.compile(r'.jpg$'))
#   打印搜索到的图片链接
# print(links)
#   设置图片在本地存储的位置
path = r'D:\pic'
#   使用request.urlretrieve直接将所有远程链接数据下载到本地
for link in links:
    print(link.attrs['src'])
    request.urlretrieve(link.attrs['src'], path + '\%s.jpg' % time.time())

 

结果：

 

文件下载结果：