scrapy
文章平均质量分 52
此杭非彼航
凡是过往,皆为序章
展开
-
chrome更新后,再次使用selenium打开chrome却发现闪退了?全网最详细教程,肯定能帮到你!
文章目录问题描述解决方案问题描述我的chrome一直提示我要更新,我嫌它一直提示很烦人,就更新了。不更新不要紧,更新后我发现我的selenium打开chrome时开始闪退,这是之前没有的情况,我估计肯定是和版本有关解决方案首先,和网上大多数教程说的一样,我们要去下载一个和chrome版本对应的chromedriver...原创 2021-05-23 21:54:38 · 6359 阅读 · 42 评论 -
解决Scrapy ImagesPipeline无法将爬取到的图片保存到指定路径的问题
项目场景:Scrapy ImagesPipeline对图片进行爬取# 问题描述:Scrapy ImagesPipeline对图片进行爬取无法存入本地,运行结果中出现类似下面的代码{'img_urls': ['https://b.zol-img.com.cn/desk/bizhi/image/10/960x600/1610680763748.jpg'], 'images': []}原因分析:如果运行成功,结果应该是这样的{'image_urls': ['https://b.zol-img原创 2021-03-07 16:36:04 · 1772 阅读 · 0 评论 -
使用scrapy爬取猫眼电影信息多次后需要验证
项目场景:使用scrapy爬取猫眼电影的相关信息问题描述:项目运行后,红字日志部分出现了下列内容2021-03-07 12:39:01 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://verify.maoyan.com/verify?redirectURL=https%3A%2F%2Fmaoyan.com%2Ffilms&requestCode=9aab1b3f93a原创 2021-03-07 12:50:27 · 2045 阅读 · 4 评论