用爬虫爬取小姐姐的图片
用的库
re #正则表达式
requests #url请求
time #时间
os #用于创建文件夹,保存图片
##准备工作
1.首先访问该链接
https://www.vmgirls.com/
2.随便点击一个进入查看详情
https://www.vmgirls.com/13344.html
3.F12审查元素网查看页详情,主要查看图片链接的标签位置,写出正则表达式
该正则表达式为findlinks = '<a href="(.*?)" alt=".*?" title=".*?">'
完整程序
# -*- coding = utf - 8 -*-
#@Time : 2020/7/16 13:36
#@Author : sunzy
#@File : tupian.py
import re
import requests
import time
import os
dir = "plmm" #文件夹名字
if not os.path.exists(dir): #首先判断是否存在当前文件夹如果没有则创建一个
os.mkdir(dir)
# 模仿浏览器的首部信息,绕过一些网站的反爬取措施
head = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36 Edg/83.0.478.61"
}
url = "https://www.vmgirls.com/13344.html"
response = requests.get(url, headers = head) # 访问目标网页,获取网页内容
html = response.text
findlinks = '<a href="(.*?)" alt=".*?" title=".*?">'
urls = re.findall(findlinks, html) #爬取到的图片链接保存在urls中, 是一个列表
for url in urls:
time.sleep(1) #防止访问速度过快使服务器崩溃
file_name = url.split('/')[-1] #保存图片的名字
res = requests.get(url, headers = head) #依此访问图片链接
with open(dir+'/'+file_name, "wb") as f: #以二进制形式保存图片
f.write(res.content)