Python爬虫之爬取美女图片并下载到本地

最新推荐文章于 2024-03-22 08:12:01 发布

be_a_pursuer

最新推荐文章于 2024-03-22 08:12:01 发布

阅读量471

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/be_a_pursuer/article/details/105594043

版权

# 利用爬虫下载网页上的图片
# 请求网页
import requests
import re
import time
import os  # 打开系统目录

# 由于某些网站具有反爬机制，故修改其headers
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}

response = requests.get('https://www.vmgirls.com/12945.html', headers=headers)

print(response.request.headers)
html = response.text
# print(html)

# 解析网页
dir_name = re.findall('<h1 class="post-title h3">(.*?)</h1>', html)[-1]
# 若文件夹不存在就创建这个文件夹，采取网站中标题为文件夹名称
if not os.path.exists(dir_name):
    os.mkdir(dir_name)

urls = re.findall('<a href="(.*?)" alt=".*?" title=".*?">', html)
print(urls)

# # 保存网页图片
for url in urls:
    time.sleep(1)  # 下载延时1s
    # 图片的名字
    file_name = url.split('/')[-1]
    response = requests.get(url, headers=headers)
    print(response)
    with open(dir_name + '/' + file_name, 'wb') as f:
       f.write(response.content)