内容简介:
1、引入需要的库
2、创建文件夹
3、循环遍历和异常处理
引入需要的库
1、requests 发送网络请求
2、os 处理文件和目录的库
3、time 时间处理库
4、BeautifulSoup 从网页中提取数据的库
BeautifulSoup库还需要安装lxml解析器
如果pip 安装 lxml失败,应该先更新一下pip版本pip install --upgrade pip
pip install lxml
创建图片文件夹
我们需要判断图片文件夹是否已创建img_path = './img'
if os.path.exists(img_path) == False:
os.makedirs(img_path)
循环遍历和异常处理
由于网页中通常包含不止一张图片,所以我们需要用while循环或for循环来处理。有时候因为网络延迟或者其他原因有的图片会下载失败,因此我们需要异常处理。
代码比较简单,直接上吧:(下载非小号首页的图片)import requests
from bs4 import BeautifulSoup
import os
import time
#headers是模拟网页请求
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
}
rs = requests.get('https://www.feixiaohao.com/', headers=headers)
soup = BeautifulSoup(rs.content, 'lxml')
items = soup.find_all('img')
img_path = './img/'
#判断文件夹是否存在
if os.path.exists(img_path) == False:
os.makedirs(img_path)
for index,item in enumerate(items):
try:
if index > 9: #超过10张就停止下载了
break
html = requests.get('https://' + item.get('src')[2:])
img_name = img_path + str(index + 1) + '.png'
with open(img_name, 'wb') as file:
file.write(html.content)
file.flush()
file.close()
print('第%d张图片下载完成' % (index+1))
time.sleep(1) #循环抓取时,避免太快而引起问题,通常设置间隔1秒
except Exception as e:
print(e.args)
time.sleep(3)
print('抓取完成')
结果如下,我们已经抓取成功了!
相关阅读
PS:打个广告,【30万本金半年赚3000万】张三九500万实盘教学课开张了!买完课,有任何不满意,24小时无条件退款!感兴趣吗,要不来听一下吧?(利益相关:本人已买且已赚回票价,非常值!)