【原创】Python之scrapy常见问题（从本人简书博客移入）

最新推荐文章于 2021-12-06 10:06:02 发布

远古某人

最新推荐文章于 2021-12-06 10:06:02 发布

阅读量251

点赞数 1

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/guggle15/article/details/120000791

版权

python 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

本文详细介绍了在使用Scrapy爬虫框架时遇到的XPath相关问题，包括PyCharm提示错误但实际xpath正确的情况，以及在网页元素定位上的常见误区。针对这些问题，提出了检查引号类型、尝试不同定位方式以及对比Scrapy抓取的HTML与浏览器源码等解决策略。同时，还提及了Scrapy图片下载失败的问题，强调了正确设置ITEM_PIPELINES和图片URL字段的重要性。

摘要由CSDN通过智能技术生成

Q1.用scrapy shell “http://****”命令测试过xpath，可以确定xpath没有问题，但pycharm就是提示xpath有问题

A1: 把xpath中的"改成’，'改成"，如果这个方法还不行，就重启pycharm重试下

Q2:控件class名或id名都对，xpath就是报错，用scrapy shell “http://****”命令测试xpath也是报错，

举例：response.xpath(’//article[@class=“news”]//a’)

A2:关注下页面中控件对应的class或id，是不是有多个，换个别的控件作为查找依据~
例子：页面上class为news的article很多，导致在找a标签过程中有报错，换个别的元素，比如父类div，或者子类p

Q3:控件class名或id名都对，排除Q2情况，xpath就是报错，用scrapy shell “http://****”命令测试xpath也是报错，

举例：获取百度主页左上角的按钮列表
目标：百度首页按钮(guggle简书原创)

A3: 主要原因是通过浏览器访问的html和scrapy抓取到的html是不一样
例子：如果通过浏览器访问，页面源码如图所示
浏览器访问的页面源码(guggle简书原创)
我们可以通过xpath("//div[@id=‘s-top-left’]//a")，用firefox浏览器的Try Xpath插件可以看到xpath语句是没有问题的
Try Path插件运行xpath("//div[@id='s-top-left']//a")(guggle简书原创)
如果要看scrapy访问页面的源码，可以在cmd命令窗口输入

>scrapy shell "https://www.baidu.com"

命令完成后，屏幕显示In [1]: ，再输入

>view(response)

浏览器自动打开scrapy抓到的html，源码为
scrapy访问的页面源码(guggle简书原创)
我们需要通过xpath("//div[@id=‘u1’]//a")才能找到按钮列表，用firefox浏览器的Try Xpath插件验证结果
Try Path插件运行xpath("//div[@id='u1']//a")(guggle简书原创)
我们在spider脚本中，写response.xpath("//div[@id=‘u1’]//a")才能找到百度首页的这些按钮列表，通过response.xpath("//div[@id=‘s-top-left’]//a")可是找不到的哦~

Q4:使用scrapy自带的’scrapy.pipelines.images.ImagesPipeline’，setting中配置下载目录IMAGES_STORE = “guggle_jianshu”，图片无法下载到本地

A4:spider中parse方法中返回的item，需要使用image_urls这个key值，并且这个image_urls对应的value值是个list
系统自带的ImagesPipeline如何正确使用(guggle简书原创).png
PS:如果需要使用scrapy.pipelines.files.FilesPipeline，系统默认是使用file_urls这个key值
如果需要使用scrapy.pipelines.images.ImagesPipeline，但是不用系统自定义的key值，需要在setting中配置IMAGES_URLS_FIELD = “guggle_img”
自定义ImagesPipeline使用的key值.png