新手，用Python爬取的大图片部分正常部分损坏，大图链接检查了没有问题，不知道问题出在哪里，或者要怎么调整。

最新推荐文章于 2022-10-15 17:51:28 发布
最新推荐文章于 2022-10-15 17:51:28 发布
阅读量396 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37715395/article/details/118725723
版权
本文介绍了使用Python进行网页爬虫时遇到的问题：从网站抓取的大图片部分正常，部分损坏。作者提供了爬虫代码，并讨论了可能的解决策略，包括检查图片URL、设置请求头、调整超时时间等。
摘要由CSDN通过智能技术生成

import requests as rq
from lxml import etree

def geturl(url):
    try:
        headers={'user-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Mobile Safari/537.36'}   
        r=rq.get(url,headers=headers,timeout=300)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        rt=r.text
        s=etree.HTML(rt)
        lianj='//*[@id="main"]/div/ul/li/a/img/@src'
        tu_url=s.xpath(lianj)
        #print(tu_url)
        for j in range(1,len(tu_url),1):
            x_url=str(tu_url[j][0:38]+tu_url[j][43:75]+tu_url[j][85:89])
            #print(x_url)
            tupian=rq.get(x_url,headers=headers,timeout=300).content
            with open('i'+str(i)+'+'+

最低0.47元/天 解锁文章
hegeladi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 图像下载解决图像损坏
aini4568的博客
03-19 1090
在下载图片的过程中，经常会发现图片损坏，下面提供了两种解决方法： 方法一： if response.status_code == 200: print '==================================================' if not os.path.exists(dir_path): ...
python爬虫（爬游民星空壁纸）_图片损坏问题
500.13 Server too busy
04-04 3033
__author__ = 'AllenMinD' import requests,urllib from bs4 import BeautifulSoup ans = 1 for page in range(1,12): if page==1: url = 'http://www.gamersky.com/ent/201603/730123.shtml' els
python下载文件损坏_Python爬虫，图片下载完后是损坏的，怎么解决？
weixin_39827034的博客
11-20 1066
coding:utf-8import requestsfrom bs4 import BeautifulSoupimport osimport sysreload(sys)sys.setdefaultencoding('utf8')爬取目标url = 'http://www.mzitu.com/page/'parser = 'html.parser'cur_path = os.getcwd() +...
求问，python爬取图片，都损坏
mjxlearn的博客
10-15 259
python爬取网站图片后，图片打不开
利用Python爬虫抓取网页上的图片（含异常处理）
08-02
利用Python爬虫抓取网页上的图片，当遇到不合法的URL时，会自动处理异常，不会导致程序崩溃。直到下载完整个页面的图片，程序才会退出
简单实现Python爬取网络图片
12-23
本文实例为大家分享了Python爬取网络图片的具体代码，供大家参考，具体内容如下 代码： import urllib import urllib.request import re #打开网页，下载器 def open_html ( url): require=urllib.request.Request...
Python3爬取英雄联盟英雄皮肤大图实例代码
09-19
Python3爬取英雄联盟英雄皮肤大图的实例代码主要展示了如何使用Python的网络请求库（如requests）和数据解析库（如BeautifulSoup或json）来抓取网页中的动态加载数据。在英雄联盟的网站上，英雄皮肤的图片并不是直接...
python爬取NUS-WIDE数据库图片
09-21
本文给大家分享的是使用Python制作爬虫爬取图片的小程序，非常的简单，但是很实用，有需要的小伙伴可以参考下
python爬取百度图片
05-04
python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片
python爬取下来的图片不可见_python 爬虫 图片抓取问题，有的网站中的图片不能抓取？...
weixin_39586825的博客
11-20 251
import urllib.requestimport http.cookiejarimport recj = http.cookiejar.MozillaCookieJar()opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))urllib.request.install_opener(opene...
python爬取的图片无法显示的问题
热门推荐
夜斗不是神
10-20 2万+
一开始把图片爬下来的时候完全都不能看，查了很多也没清楚原因，最近看到一篇解决这个问题的博客，膜拜呀。 原博客地址：http://www.cnblogs.com/eastmount/p/5055908.html 一. 简单分析原因及知识巩固        1.urllib.urlretrieve()        通过urlretrieve()函数可设置下载进度发现图
2020-09-27
weixin_46064684的博客
09-27 183
Date（日期）对象 Date对象分为两种情况： 1. 获取当前时间 2. 录入指定时间 注意：指定的对象会跟随1/2两种情况获取不同数据 var da = new Date(); //获取当前时间 console.log(da); //获取当前年 console.log(da.getFullYear()); //获取当前月(0-11) console.log(da.getMonth()+1); //获取当前日 console.log(da.getDate()); //获取当前小时 console.log(
[python爬虫] 爬取图片无法打开或已损坏的简单探讨
weixin_34346099的博客
12-07 3324
本文主要针对python使用urlretrieve或urlopen下载百度、搜狗、googto（谷歌镜像）等图片时，出现"无法打开图片或已损坏"的问题，作者对它进行简单的探讨。同时，作者将进一步帮你巩固selenium自动化操作和urllib库等知识。 感谢朋友"露为霜"的帮助！希望以后能实现强大的图片爬虫代码~ 一. ...
python 下载图片损坏_python – 用PycURL下载图像让我破碎的图像
weixin_39700394的博客
12-30 114
我正在与pycurl挣扎.这些是我的标题：headers.append('User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:5.0) Gecko/20100101 Firefox/5.0')headers.append('Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0....
python爬取图片并保存_爬虫：大量爬取百度图片——python
最新发布
05-20
以下是使用Python爬取百度图片并保存的示例代码： ```python # 导入依赖库 import requests import re import os # 设置搜索关键字 keyword = "美食" # 设置图片保存路径 save_path = "./images/" # 构造百度图片搜索的URL url = "https://image.baidu.com/search/index?tn=baiduimage&word={}".format(keyword) # 发送HTTP请求并获取响应 response = requests.get(url) # 使用正则表达式从响应内容中提取图片URL列表 img_urls = re.findall('"objURL":"(.*?)",', response.text, re.S) # 遍历图片URL列表并下载保存图片 for i, img_url in enumerate(img_urls): try: # 发送HTTP请求并获取响应 response = requests.get(img_url, timeout=10) # 设置图片保存路径 img_path = os.path.join(save_path, "{}.jpg".format(i)) # 保存图片 with open(img_path, "wb") as f: f.write(response.content) print("成功下载第{:>3d}张图片！".format(i+1)) except Exception as e: print("下载第{:>3d}张图片失败：{}".format(i+1, e)) ``` 解释一下上述代码的主要步骤： 1. 设置搜索关键字和图片保存路径 2. 构造百度图片搜索的URL 3. 发送HTTP请求并获取响应 4. 使用正则表达式从响应内容中提取图片URL列表 5. 遍历图片URL列表并下载保存图片 需要注意的是，这种方式只是简单的使用正则表达式从响应内容中提取图片URL，而没有使用任何API，因此可能存在一些不稳定性和容易被反爬虫机制封禁的风险。建议在使用时注意合理使用代理、设置请求头等防反爬措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值