【爬虫】Debug没有问题，但是run不出结果

最新推荐文章于 2024-07-26 15:19:12 发布

一个无情的靓女

最新推荐文章于 2024-07-26 15:19:12 发布

阅读量1.5k

点赞数 1

分类专栏：爬虫文章标签：爬虫 python

本文链接：https://blog.csdn.net/the_ruthless/article/details/127557783

版权

爬虫专栏收录该内容

3 篇文章 0 订阅

订阅专栏

问题描述

爬虫的时候，明明代码逻辑啥的都没有问题，但总是跑不出来结果

解决方法

因为爬虫的时候网速跟不上！！！
所以不能根据关键词进行循环爬取！
所以爬不到东西！

解决方法很简单！
只要在get完url之后设置一个sleep的时间间隔，让driver有足够的时间加载页面、爬取结果！

代码如下：

driver.get(url)
time.sleep(5)

希望对你有所帮助🙂

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一个无情的靓女

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
【爬虫】Debug没有问题，但是run不出结果

爬虫的时候，明明代码逻辑啥的都没有问题，但总是跑不出来结果。
复制链接

扫一扫

专栏目录

代码没有错，但爬取网页无数据输出，因为遇到了异步加载网页

爱吃饼干的小白鼠的博客

10-26

3803

传统的网页如果需要更新内容，必须重新加载整个网页页面，网页加载速度慢，用户体验差，而且数据传输少，会造成宽带浪费。想要抓取这些通过异步加载方法的网页数据，需要了解网页时如何加载这些数据的，该过程就叫做逆向工程，俗称“抓包”。（3）打开Chrome浏览器的开发者工具（按F12），选择Network选项卡，再选择XHR项，可发现网页加载了用户“动态”内容的文件。（8）由于Response返回的是XML的文档，便可以通过Lxml库进行数据的抓取工作，需要抓取的内容为用为“动态”类型和时间信息。

爬虫篇（10）权重代理池

tzyyy1的博客

07-08

406

前言：权重代理池是之前工作为采集亚马逊而开发，不出意外这个模块以后应该用不上了，但也是花了一些心力开发的，故写下这篇博客，一来纪念，二来分享，三来或许以后还有人会用到

参与评论您还未登录，请先登录后发表或查看评论

SpringBoot整合WebMagic实现爬虫(简单整合含gitee源码)

weixin_43917143的博客

10-07

1567

SpringBoot整合WebMagic 前言为什么我要整合WebMagic ? WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。因为部分网站它不支持外链图片上传,而我已经把我的图片资源上传了,所以我需要把所有的资源进行获取整合再在部分网站重新上传; 举个????: 红框里的就是上传失败的。很无奈,人家不支持外链地址,那没有办法,自己重新上传吧! 所以我通过WebMagic进行爬取我放置在其他网站的博客再进行上传。如下????

爬虫（三）-笔记

码python的Vinsmoke

06-30

2340

scrapy的概念和流程 1. scrapy的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。 Scrapy文档地址：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html 2. scrapy框架的作用少量的代码，就能够快速的抓取 3. scrapy的工作流程 3.1

web爬虫第四弹 - 生产者与消费者模型（python）

CSDN_Xying的博客

07-05

1069

生产者消费者简单的实际场景

python爬虫框架怎么_Python爬虫框架--pyspider初体验

weixin_39653442的博客

12-15

之前接触scrapy本来是想也许scrapy能够让我的爬虫更快，但是也许是我没有掌握scrapy的要领，所以爬虫运行起来并没有我想象的那么快，看这篇文章就是之前使用scrapy的写得爬虫。然后昨天我又看到了pyspider，说实话本来只是想看看，但是没想到一看就让我喜欢上了pyspider。先给大家看一下pyspider的后台截图：pyspider是国人写的一款开源爬虫框架，个人觉得这个框架用起...

爬虫实现csdn文章一键(批量)更换阅读类型(全部可见、粉丝可见、vip可见)

bigsai

07-20

5185

文章目录前言分析获取文章链接、id 分析markdown文本代码编写执行测试说在后面的话前言在IT首屈一指的交流平台上，我们可以看得到csdn在最近的一些进步和变化：如blink，文章收益,等等方面。促进和提升文章价值，激发笔者写作分享！这无疑是一件好事。但csdn依然还有很多不够完善或者需要优化的地方，如推荐算法、新出的收益无法一键更改文章阅读类型。这让一些大的...

学习python爬虫，这个绝对够了！(呕心沥血3.7万字，只为博君一赞！)python爬虫笔记之一

2301_81101014的博客

04-28

1474

python爬虫的深度着实让我吃惊且吃力，仅仅笔记的第一篇就有3.7万字的强度，看来，想要在python爬虫领域登峰造极，要狠狠下一番功夫了！！！为什么不直接把笔记全发出来呢？主要是才就3.7万字，CSND的编辑器就卡的不行了，所以分为四个篇章了。

webmagic初次尝试——写给女生看的爬虫

qq_40734247的博客

08-03

452

前言：最近简单学习了一下一个比较知名的Java爬虫框架——webmagic。虽然还是不太理解它的整体结构，但是用来爬取数据，应该是没有问题了。而且，我发现它和我使用HttpClient和Jsoup这两个框架（类库）的时候，思考不太一样。使用上面两种工具，对网络数据进行爬取，还是比较原始的。因为爬虫其实涉及了到了很多知识，并不是简单的发起请求和接收响应，例如：URL调度、URL去重。这些东西以前都没有考虑到，对于URL调度来说，基本上没有调度，看到就爬了。这种对于小型网站或者单独的页面似乎是没有问题，但是对

十分钟解决爬虫问题！超轻量级反爬虫方案

02-25

本文将描述一种尽量简单的反爬虫方案，可以在十几分钟内解决部分简单的爬虫问题，缓解恶意攻击或者是系统超负荷运行的状况；至于复杂的爬虫以及更精准的防御，需要另外讨论。爬虫和反爬虫日益成为每家公司的标配系统...

爬虫开发C#开发网络爬虫一般编程问题

04-19

【爬虫开发】C#开发网络爬虫一般编程问题【实例简介】对现在所有的主流平台爬取是没任何问题！【实例截图】【核心代码】数据采集 └── 数据采集 ├── DataCollecting │ ├── App.config │ ├── bin ...

详解爬虫被封的问题

09-19

主要介绍了爬虫被封的问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

链家爬虫源码与结果文件

02-15

本篇将深入探讨“链家爬虫源码与结果文件”相关知识点。一、爬虫基础 1. 网络爬虫是一种自动化浏览网络并提取信息的程序。它通过模拟浏览器发送HTTP请求，获取服务器响应，然后解析HTML或其他格式的数据。 2. ...

Python爬虫技术第11节发送GET和POST请求

hummhumm的专栏

07-24

673

try:e } ") return None # 使用示例 word = 'example' definition = get_word_definition(word) if definition : print(f"The definition of ' {")

python爬虫基础——Webbot库介绍

qq_56262770的博客

07-22

980

Webbot是一个专为Python设计的库，用于简化网页自动化任务。它基于Selenium WebDriver，提供了一系列高级接口，使自动化任务更加直观和易于管理。Webbot库的设计理念是将复杂的网页交互抽象为简单的API调用，从而减少开发者在编写自动化脚本时的工作量。Webbot库的核心功能包括自动化表单填写、点击操作、数据抓取等，同时支持处理JavaScript渲染的页面和模拟用户行为。这些功能使得Webbot库成为自动化测试、数据收集和网页监控等领域的理想选择。

scrapy 爬取旅游景点相关数据（一）

roccreed的专栏

07-25

559

本项目为scrapy 练手项目，爬取的是穷游旅游景点列表数据。

Python3网络爬虫开发实战（4）数据的存储

bigcrab的博客

07-26

798

TXT，Json，csv，SQLAlchemy，MongoDB，Redis，Elasticsearch，RabbitMQ

基于豆瓣音乐、豆瓣图书、豆瓣电影详情获取、长短评获取【豆瓣全家桶系列】