python 下载图片损坏_爬虫爬取出的图片下载出错,图片文件直接损坏

该博客介绍了在Python中使用requests和lxml库爬取网页图片时遇到的下载图片损坏问题,并提供了解决方案。通过设置请求头,爬取指定网站的多页图片链接,然后创建文件夹并下载图片,确保图片文件完整。文章详细展示了爬虫代码实现过程。
摘要由CSDN通过智能技术生成

import requests

import os, sys, stat

from lxml import etree

import time

class HuangMan():

def __init__(self):

#设置请求头

self.headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}

self.url_list = []

self.Hman_url_list = []

self.Hman_name_list = []

def get_url_list(self):

#这里是设置爬取到第3页,想要更多的话请自行更改

url = "http://www.93qoqo.com/artlist/27-%d.html"

for i in range(2,4):

#获取第2到3页的url

self.url_list.append(url % i)

#由于第一页网址不同,所以单独写一个获取函数

def start_1(self):

url_1 = "http://www.93qoqo.com/artlist/27.html"

response = requests.get(url_1, headers = self.headers).content.decode('utf-8')

html = etree.HTML(response)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值