python爬虫-获取校花网照片

一位苦于信息安全的萌新小白帽，记得关注给个赞，谢谢
本实验仅用于信息防御教学，切勿用于其它用途

二话不说，先上代码

import requests
from lxml import etree
from urllib.request import urlretrieve


base_url =  'http://www.521609.com' #用于拼接url图片
url = "http://www.521609.com/daxuexiaohua/list32.html"
headers = {
	"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}

response = requests.get(url,headers=headers)
#response.encoding = "gbk"
#print(response.text)
res = response.content.decode('gbk')#两种编码方式


html = etree.HTML(res)
imgs = html.xpath('//div[@class="left"]//ul/li') #通过xpath获取html中的图片地址 
#print(img_link)

for i in imgs:
	img_link = i.xpath('./a[1]/img/@src')[0] #获取图片地址
	link = base_url + img_link #拼接成为完整url
	#print(link)
	name = str(i.xpath('.//a[2]/text()')) #获取图片名称
	#print(name)
	urlretrieve(link,name+".jpg") #下载图片到本地

执行结果

一个学习爬虫过程的一个小项目代码：

通过分析校花网的html页面，找到标签中包含的图片地址和名称，通过xpath匹配提取拼接url，然后下载图片到本地。