python抓取图片并本地存储

一、注意事项

1、抓取图片的代码较简单，有些网站拿到文字乱码，主要体现转化乱码的操作，encode(‘iso-8859-1’).decode(‘gbk’)；

2、用xpath进行标签解析

二、源码

import requests
from lxml import etree
import os

# 第一页网址：http://pic.netbian.com/4kqiche/index.html
# 第二页开始的网址：http://pic.netbian.com/4kqiche/index_2.html

# 请求头
headers = {'User-Agent': 'Mozilla/5.0'}

# 新建存放图片文件夹
file_path = './pic'
if not os.path.exists(file_path):
    os.makedirs(file_path)
    
# 爬取前5页图片
for page in range(1, 6):
    if page == 1:
        url = 'http://pic.netbian.com/4kqiche/index.html'
    else:
        url = f'http://pic.netbian.com/4kqiche/index_{page}.html'
    # 获取网页源码
    resp = requests.get(url, headers=headers).text
    # xpath解析标签内容
    tree = etree.HTML(resp)
    li_list = tree.xpath('//ul[@class="clearfix"]/li')
    # 定位每张图片标签并解析
    for li in li_list:
        img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
        img_name = li.xpath('./a/b/text()')[0]
        # 原始名称解析乱码，需转码
        img_name = img_name.encode('iso-8859-1').decode('gbk')
        img_save = requests.get(img_src, headers=headers).content
        # 保存图片
        with open(f'{file_path}/{img_name}.jpg', 'wb') as fp:
            fp.write(img_save)

---

感谢看到这里