import requests,os,time
from lxml import etree
def handle_request(url, page):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
# 由于第一页和后面页码规律不一致,所以要进行判断
if page == 1:
url = url.format('')
else:
url = url.format(str(page))
request = requests.get(url=url, headers=headers)
return request
def download_image(image_src,jpgname):
dirpath = './4K美女'
# 创建一个文件夹
if not os.path.exists(dirpath):
os.mkdir(dirpath)
# 持久化保存图片 并以图片标签名作为文件名称
with open(jpgname, 'wb') as fp:
fp.write(image_src)
def parse_content(content):
# 生成对象
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
}
content.encoding = 'GBK'
request = content.text
tree = etree.HTML(request)
li_list = tree.xpath('//ul[@class="clearfix"]/li/a')
#遍历图片 并且下载图片 调用download_image持久化保存到文件夹
for li in li_list:
alt = li.xpath('.//img/@alt')[0]
sec_url ='http://pic.netbian.com'+ li.xpath('.//img/@src')[0]
jpgname = './4K美女/'+alt+'.jpg'
tupian = requests.get(url=sec_url,headers=headers).content
download_image(tupian,jpgname)
def main():
url = 'http://pic.netbian.com/4kmeinv/index_{}.html'
start_page = int(input("请输入开始页码:"))
end_page = int(input("请输入结束页码:"))
for page in range(start_page,end_page+1):
print("第%s页开始下载······" % page)
request = handle_request(url, page)
# 解析内容
parse_content(request)
time.sleep(2)
print("第%s页下载完毕······" % page)
print("下载完成!")
main()
python爬虫 循环爬取多页图片 并下载以图片名称保存
最新推荐文章于 2024-05-31 11:13:44 发布
该博客内容是一个Python脚本,用于从指定网站批量下载4K美女图片。脚本首先定义了一个请求处理函数,根据页码动态构造URL并设置User-Agent头。然后,定义了图片下载函数,用于将获取到的图片数据保存为.jpg文件。解析内容的函数通过lxml库解析HTML,找到图片链接并下载。最后,主函数接收用户输入的起始和结束页码,依次下载每一页的图片,每页下载完成后暂停2秒。
摘要由CSDN通过智能技术生成