学习爬虫过程遇到的各种问题集锦

最新推荐文章于 2024-02-20 15:43:58 发布

hellenlee22

最新推荐文章于 2024-02-20 15:43:58 发布

阅读量2.2k

点赞数 1

本文链接：https://blog.csdn.net/hellenlee22/article/details/89469305

版权

在学习Python爬虫过程中遇到了多个问题，包括无法访问的网址、图片乱码、文件覆盖等。通过异常处理、编码转换、正则表达式调整、变量作用域修正以及理解文件路径操作解决了这些问题。例如，使用decode('utf-8')处理乱码，将变量置于for循环外部避免文件覆盖，以及正确理解os模块中的文件路径操作。

摘要由CSDN通过智能技术生成

用xpath爬取 https://www.ivsky.com/tupian/haiyangshijie/，
问题1：检查了好多遍代码，一直如下错误报错
在这里插入图片描述

开始下载 形态各异的海马图片(11张) https://www.ivsky.com/tupian/haima_v50562/
None
Traceback (most recent call last):
  File "20190422ivskyxpath.py", line 59, in <module>
    img_titles1=html1.xpath('//ul[@class="pli"]/li/div/a/@title')
AttributeError: 'NoneType' object has no attribute 'xpath'

后来经过热心的朋友指点，发现是爬取的图片网站列表里面的这个https://www.ivsky.com/tupian/haima_v50562/ 根本打不开，最后做了异常判断排除解决。

问题2 ：
下载后保存的图片竟然打不开，后来记事本打开后发现是乱码，加了.decode(‘utf-8’)，也就是resp=requests.get(url,headers=headers).content.decode(‘utf-8’) 解决。
还有一种情况，记得爬取贴吧时一些保存的图片打不开ÿ