python爬虫 循环爬取多页图片 并下载以图片名称保存

该博客内容是一个Python脚本,用于从指定网站批量下载4K美女图片。脚本首先定义了一个请求处理函数,根据页码动态构造URL并设置User-Agent头。然后,定义了图片下载函数,用于将获取到的图片数据保存为.jpg文件。解析内容的函数通过lxml库解析HTML,找到图片链接并下载。最后,主函数接收用户输入的起始和结束页码,依次下载每一页的图片,每页下载完成后暂停2秒。
摘要由CSDN通过智能技术生成
import requests,os,time
from lxml import etree

def handle_request(url, page):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }
    # 由于第一页和后面页码规律不一致,所以要进行判断
    if page == 1:
        url = url.format('')
    else:
        url = url.format(str(page))
    request = requests.get(url=url, headers=headers)
    return request

def download_image(image_src,jpgname):
    dirpath = './4K美女'
    # 创建一个文件夹
    if not os.path.exists(dirpath):
        os.mkdir(dirpath)
    # 持久化保存图片 并以图片标签名作为文件名称
    with open(jpgname, 'wb') as fp:
        fp.write(image_src)

def parse_content(content):
    # 生成对象
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
    }
    content.encoding = 'GBK'
    request = content.text
    tree = etree.HTML(request)
    li_list = tree.xpath('//ul[@class="clearfix"]/li/a')
    #遍历图片 并且下载图片 调用download_image持久化保存到文件夹
    for li in li_list:
        alt = li.xpath('.//img/@alt')[0]
        sec_url ='http://pic.netbian.com'+ li.xpath('.//img/@src')[0]
        jpgname = './4K美女/'+alt+'.jpg'
        tupian = requests.get(url=sec_url,headers=headers).content
        download_image(tupian,jpgname)

def main():
    url = 'http://pic.netbian.com/4kmeinv/index_{}.html'
    start_page = int(input("请输入开始页码:"))
    end_page = int(input("请输入结束页码:"))
    for page in range(start_page,end_page+1):
        print("第%s页开始下载······" % page)
        request = handle_request(url, page)
        # 解析内容
        parse_content(request)
        time.sleep(2)
        print("第%s页下载完毕······" % page)
    print("下载完成!")

main()
  • 5
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值