# 利用爬虫下载网页上的图片
# 请求网页
import requests
import re
import time
import os # 打开系统目录
# 由于某些网站具有反爬机制,故修改其headers
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
response = requests.get('https://www.vmgirls.com/12945.html', headers=headers)
print(response.request.headers)
html = response.text
# print(html)
# 解析网页
dir_name = re.findall('<h1 class="post-title h3">(.*?)</h1>', html)[-1]
# 若文件夹不存在就创建这个文件夹,采取网站中标题为文件夹名称
if not os.path.exists(dir_name):
os.mkdir(dir_name)
urls = re.findall('<a href="(.*?)" alt=".*?" title=".*?">', html)
print(urls)
# # 保存网页图片
for url in urls:
time.sleep(1) # 下载延时1s
# 图片的名字
file_name = url.split('/')[-1]
response = requests.get(url, headers=headers)
print(response)
with open(dir_name + '/' + file_name, 'wb') as f:
f.write(response.content)
Python爬虫之爬取美女图片并下载到本地
最新推荐文章于 2022-01-17 20:40:27 发布