Python爬虫入门教程 68-100 一招解决爬虫程序卡死问题

最新推荐文章于 2022-01-14 10:08:19 发布
最新推荐文章于 2022-01-14 10:08:19 发布
阅读量1.9w 收藏 2
点赞数 1
分类专栏： 爬虫100例教程 文章标签： python 爬虫 爬虫入门 爬虫百例 爬虫入门教程
梦想橡皮擦-独家版权，禁止转载
本文链接：https://blog.csdn.net/hihell/article/details/105169331
版权
爬虫100例教程 专栏收录该内容
118 篇文章 1561 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录

写在前面

上一篇博客，已经开启了爬虫程序的exe之旅，但是我们最终实现的程序存在一个非常大的问题，当进行网络请求的时候，程序卡死，直到数据请求回来之后，程序才会从假死状态解脱出来，今天这篇博客核心将这个问题解决掉。

导致该问题产生的原因是GUI程序在执行高IO操作的时候很容易出现假死和无响应的状态，通用解决办法就是多线程。

如果想扩展开本知识点的学习，可以在搜索引擎搜索 tkinter假死，未响应等关键字即可

简单粗暴解决问题

找到上节课需要修改的代码部分
Python爬虫百例教程
修改成如下代码，立马解决问题

def thread_down
了解本专栏 订阅专栏 解锁全文
梦想橡皮擦
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
爬虫卡死问题解决.zip
05-28
爬虫百例第68案例素材，可以直接下载运行，主要是解决了tkiner页面卡死的问题
python:爬虫遇到的问题[requests卡住](多次请求超时的几种重试方式)
热门推荐
08-21 1万+
headers = Dict() url = 'https://www.baidu.com' try: proxies = None response = requests.get(url, headers=headers, verify=False, proxies=None, timeout=3) except: # logdebug('requests failed one time') try: proxies = None respo
Selenium webdriver未正确关闭资源导致爬虫卡住
qq_42392337的博客
01-14 989
Selenium webdriver未正确关闭资源导致爬虫卡住 由于我在写selenium爬虫代码时，关闭页面使用的driver.close() 查过资料 得知driver.close()指的是仅关闭页面 ，因此这里应该使用driver.quit() 这个方法不但会关闭所有页面，还会释放webdriver资源 ...
python分布式爬虫并解决假死问题
持久决心的博客
08-07 8834
python版本：3.5.4 系统：win10 x64 通过网页下载视频 方法一：使用urllib.retrieve函数 放函数只需要两个参数即可下载相应内容到本地，一个是网址，一个是保存位置 import urllib.request url = 'http://xxx.com/xxx.mp4' file = 'xxx.mp4' urllib.request.retrieve(...
python爬虫中遇到的假死问题
weixin_30256901的博客
06-14 3821
如在请求一个URL，网站没有响应的时候，会无限卡死进程。这个时候我们可以在urllib2.urlopen设置一个超时时间，超过这个时间的话就抛出异常。如下所示。 我们可以捕抓到这个异常然后用自己的方法去处理。 try: req = urllib2.Request(imgurl,None,headers=headers) response = urllib2.urlopen(req,...
Python爬虫入门教程 90-100 凌晨5点的CSDN自动签到器，用Python爬虫干点闲事.zip
09-16
Python爬虫入门教程 90-100 凌晨5点的CSDN自动签到器，用Python爬虫干点闲事 Python爬虫入门教程 90-100 凌晨5点的CSDN自动签到器，用Python爬虫干点闲事
python爬虫入门教程--快速理解HTTP协议（一）
09-21
http协议是互联网里面最重要，最基础的协议之一，我们的爬虫需要...下面这篇文章主要给大家介绍了关于python爬虫入门之快速理解HTTP协议的相关资料，文中介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。
python爬虫入门教程--利用requests构建知乎API（三）
09-21
主要给大家介绍了关于python爬虫入门之利用requests构建知乎API的相关资料，文中通过示例代码介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
python爬虫入门教程--正则表达式完全指南（五）
10-19
要想做爬虫，不可避免的要用到正则表达式，如果是简单的字符串处理，类似于split，substring等等就足够了，可是涉及到比较复杂的匹配，当然是正则的天下，下面这篇文章主要给大家介绍了python爬虫之正则表达式的相关...
Python爬虫入门教程.docx
最新发布
07-23
Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程...
python运行程序为什么会卡住_python爬虫程序卡死
weixin_39963819的博客
12-03 1560
import requestsimport cchardetimport sqlite3import timeimport loggingfrom multiprocessing.pool import ThreadPooldef execute(url):total_time = time.time()try:start_time = time.time()res = requests.get(...
java爬虫程序卡死的问题
TheManOfCoding的博客
10-19 1387
我开发了一个爬虫程序使用的是httpclient4.3.5+jsoup1.7.2，发现在爬取数据的时候有的时候会卡住，发现每次都是执行到 response = httpClient.execute(httpGet); 这句话的时候，我百度之后，发了一句话说的很好： 我们知道Socket在读数据的时候是阻塞式的，如果没有读到数据程序会一直阻塞在那里。在同步请求的时候我们肯定是不能允许这样的情...
python爬虫运行时容易卡住_pycharm多线程爬虫调试没问题运行就卡住
weixin_39732506的博客
12-04 1012
[Python] 纯文本查看 复制代码import requestsfrom fake_useragent import UserAgentimport osimport threadingfrom lxml import etreefrom queue import Queueimport timeimport reclass Producer(threading.Thread):headers...
爬虫卡住无报错信息
不随缘的随心，能改变的随性
05-21 3351
用了requests库，爬取了一晚上，程序在某个页面hang住了，没有任何报错信息，也不退出，也不前进，日志和进程查不出问题。 操作回顾： 查看nohup.out，无任何异常数据； 查看程序log，在183页有数据，184页数据未出现； ps aux |grep 查看进程，未占用大量cpu和内存，排除死循环； 查看代码，未使用多线程多进程，排除死锁； 查看问题进程打开的文件，lsof -p xx，发现最后打开的文件是建立了2个tcp连接，并且一直未断开，考虑io阻塞的可能性； 再次查
爬虫卡死问题 带图片保存的urlretrieve 和urlopen
bining博客
12-26 4018
爬虫卡死问题 带图片保存的urlretrieve 和urlopen 原保存图片子函数 错误原因 更改后的保存图片子函数 可以开始愉快的爬辣爬虫卡死问题 带图片保存的urlretrieve 和urlopen之前做个小爬虫爬点文字混合图片的东西，数据量小还可以处理，数据一大自己假死，也没有错误提示，搞得自己有点烦，在这总结一下： 原保存图片子函数########使用当前执行时间来命名图片，lujing为
爬虫爬取页面过程中HttpClient导致的进程阻塞问题
LovePeppa的专栏
12-27 5165
爬虫爬取页面过程中HttpClient导致进程阻塞问题目前在做爬虫项目，爬取多个书籍网站的书籍详情页面，遇到一个很恶心的问题，别的网站都能在短时间内完成爬取，唯独网站A的线程卡死，永远随机的阻塞在某个页面。定位到错误点在下载函数，这是初始的下载函数： public String staticDownload(String urlstr, String encoding,String param)
爬虫代理卡住：关于requests里的timeout()
NRGAGA的专栏
03-07 4911
https://blog.csdn.net/qq_38251616/article/details/81813793 在爬虫代理这一块我们经常会遇到请求超时的问题，代码就卡在哪里，不报错也没有requests请求的响应。 通常的处理是在requests.get()语句中加入timeout限制请求时间 req = requests.get(url, headers=headers, proxi...
python爬虫入门教程 2-100
06-06
但是，我可以告诉你，Python爬虫入门教程通常包括以下内容： 2. 爬虫的基本原理和流程 3. Python爬虫的环境搭建 4. Python爬虫的基本语法和常用库 5. 爬虫的数据解析和存储 6. 爬虫的反爬虫技术和应对方法 7. 爬虫...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助，来瓶可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值