urlopen关于超时timeout问题的解释

最新推荐文章于 2024-06-05 10:41:03 发布
最新推荐文章于 2024-06-05 10:41:03 发布
阅读量8.5k 收藏 2
点赞数 2
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuke100/article/details/71476732
版权
python（3.5）中的 
try:
   
   page = urllib.request.urlopen(url_sum, timeout=10.0)
except:
   print('error')
 

表示一次http访问请求的时间最多10秒，一旦超过，本次请求中断，但是不进入下一条，而是继续重复请求这一条。上面的代码若超时会出现以下现象：
 

.
 

.
 

.
 

http://discussions.citrix.com/forum/1346-access-gateway-enterprise-edition/page-31?prune_day=100&topicfilter=all
error
http://discussions.citrix.com/forum/1346-access-gateway-enterprise-edition/page-32?prune_day=100&topicfilter=all

 

.
 

.
 

.
 

不会略过任何一条请求！！！！

                

        

        

    




    

      

        

            

              
                
                  xuke100
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python urlopen函数的timeout_urllib.request.urlopen（）函数详解

				
			

			

				

					weixin_39838231的博客
				

				

					12-16
					
					1593
					
				

			

		

		

			
				
urllib提供了一系列用于操作URL的功能.包含urllib.request,urllib.error,urllib.parse,urllib.robotparser四个子模块。1.urllib.request 负责请求2. urllib.error 异常处理模块3. urllib.parse url 负责解析4. urllib.robotparser 负责robots.txt文件的解析其中ur...

			
		

	



                

              
                



	

		

			

				
					
Python使用urllib模块的urlopen超时问题解决方法

				
			

			

				

					12-24
				

			

		

		

			
				
在新的公司开始上班，今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱，以便发送营销邮件。
于是用了一个python脚本来执行，前面抓了几个都没有什么问题，后来碰到一个论坛，在执行urlopen的地方总是提示超时，百度了一下，因为我使用的是urllib不是urllib2，所以无法直接在urlopen里面加timeout参数，只能是设置全局脚本的超时时间
首先：
复制代码 代码如下:
import socket

然后：
复制代码 代码如下:
socket.setdefaulttimeout(60)

设置全局的超时时间为60s。
之后再执行脚本的时候就没有什么大问题了。
         

			
		

	



                


  
              

                


	

		

			

				
					
【Python】解决Python报错：TimeoutError

					
最新发布

				
			

			

				

					科技改变人类，技术成就未来
				

				

					06-05
					
					793
					
				

			

		

		

			
				
解决Python报错：TimeoutError

			
		

	





	

		

			

				
					
Python3中urlopen()详解

				
			

			

				

					xiaoyaozi2020的博客
				

				

					06-06
					
					2058
					
				

			

		

		

			
				
data参数：data用来指明发往服务器请求中的额外的参数信息（如：在线翻译，在线答题等提交的内容），data默认是None，此时以GET方式发送请求；read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作。直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，需要decode（）解码，转换成str类型。#用户自定义表单，words表示的是用户要翻译的内容。

			
		

	



		

			
		



	

		

			

				
					
【Python】 URLError: <urlopen error timed out> 错误

				
			

			

				

					Shomy的专栏
				

				

					07-21
					
					3万+
					
				

			

		

		

			
				
这几天用Python做p

			
		

	





	

		

			

				
					
urllib.request.urlopen参数timeout不起作用

				
			

			

				

					kao_lengmian的博客
				

				

					08-09
					
					406
					
				

			

		

		

			
				
urllib.request.urlopen timeout不起作用问题解决，当然不是唯一解。。。

			
		

	





	

		

			

				
					
python爬虫超时的处理的实例

				
			

			

				

					12-23
				

			

		

		

			
				
 f = urllib2.urlopen(url, timeout=0) #timeout设置超时的时间  result = f.read() # print len(result)  print result except Exception,e:  print 'a',str(e)  以上这篇python爬虫超时的处理的实例就是小编分享给...

			
		

	





	

		

			

				
					
python爬虫请求头的使用

				
			

			

				

					01-21
				

			

		

		

			
				
第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。 第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT 第一个参数URL是...

			
		

	





	

		

			

				
					
Python的Urllib库的基本使用教程

				
			

			

				

					09-22
				

			

		

		

			
				
 - `timeout`：可选参数，设置连接超时时间，默认值为`socket._GLOBAL_DEFAULT_TIMEOUT`。  3. **构造`Request`对象**  为了使代码更清晰，通常我们会先创建一个`Request`对象，再将其传递给`urlopen()`。例如：  ``...

			
		

	





	

		

			

				
					
Python爬虫基础之Urllib库

				
			

			

				

					01-24
				

			

		

		

			
				
其中，URL 是必须要传送的，data 和 timeout 可以不传送，data 默认为空 None，timeout 默认为 socket._GLOBAL_DEFAULT_TIMEOUT。  例如，以下代码可以访问百度的首页并读取返回结果：  ``` import urllib2 response...

			
		

	





	

		

			

				
					
第三章--Urllib库与URLError异常处理

				
			

			

				

					Happme的博客
				

				

					12-15
					
					673
					
				

			

		

		

			
				
快速使用Urllib爬取网页

Urllib库是Python提供的一个用于操作URL的模块。使用Urllib爬取网页，首先需要导入用到的模块，在这里我们要导入urllib.request这个模块，然后我们使用urllib.request.urlopen爬取百度首页（源代码），爬取后将爬到的网页赋给了file：


import urllib.request
#爬取一个网页
file = urlli...

			
		

	





	

		

			

				
					
【爬虫】URLError: ＜urlopen error timed out＞ 错误

				
			

			

				

					恒治学
				

				

					03-28
					
					2212
					
				

			

		

		

			
				
如果你是爬虫遇到此问题.
如果你读到这篇文章，恭喜你解决了这个错误.
这压根不是个错误，只是偶尔的网 络 堵 塞，重新尝试几次即可.



			
		

	





	

		

			

				
					
python3.7 urllib.request.urlopen() timeout 设置超时时间

				
			

			

				

					曹恭铖的博客
				

				

					12-03
					
					1万+
					
				

			

		

		

			
				

urllib.request.urlopen(url,timeout=3)

记录一下

 

 

 

 

 

 

 

 

 

 

 

			
		

	





	

		

			

				
					
urllib.request.urlopen（）出现的程序超时假死问题

				
			

			

				

					盘行
				

				

					04-14
					
					8124
					
				

			

		

		

			
				
写了一个百度通用爬虫，需要对很多的url进行循环处理，获取url的html，程序逻辑没有问题，但是程序经常跑着跑着就停止不动，不报错，所以一句句加输出，最终发现原来是：


pagetext = urllib.request.urlopen(request,data=None,timeout=15).read()

停止都是在这句 查找资料得知，urlopen()有一个超时参数，当长时间获取不到响...

			
		

	





	

		

			

				
					
python request超时异常退出_Python：捕获urllib.request超时异常的2种方法

				
			

			

				

					weixin_42465885的博客
				

				

					01-14
					
					1689
					
				

			

		

		

			
				
1. 背景在使用urllib.request.urlopen时，经常出现超时异常导致程序停止运行。每次停止还要重启程序，这不利于程序的健壮性。现希望捕获urllib的超时异常来做超时处理。from urllib import requestheaders = {  # 用户代理，伪装浏览器用户访问网址'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) Apple...

			
		

	





	

		

			

				
					
Python学习笔记（二）urllib.urlopen()超时问题 : 504Gateway Time-out

				
			

			

				

					无敌嗨猫的博客
				

				

					05-15
					
					1万+
					
				

			

		

		

			
				
urllib.urlopen()超时问题 : 504Gateway Time-out问题描述：    没有设置timeout参数，结果在网络环境不好的情况下，时常出现read()方法没有任何反应的问题，程序卡死在read()方法里，搞了大半天，才找到问题，给urlopen加上timeout就ok了.    设置了timeout之后超时之后read超时的时候会抛出socket.timeout异常，想...

			
		

	





	

		

			

				
					
处理python3爬虫问题：urlopen error [Errno 111] Connection refused 或 urlopen error timed out

				
			

			

				

					Zack的博客
				

				

					07-28
					
					1万+
					
				

			

		

		

			
				
问题
爬虫时使用代理，经常会出现 <urlopen error [Errno 111] Connection refused>  或者   这类的错误，造成这类问题的原因是代理ip不可用或者质量差，解决方法如下：
方法
1、建立代理ip池
2、使用try… except… 处理异常，删除无效ip，示例代码：
def crawl_web_data(url, proxy_ip_list):...

			
		

	





	

		

			

				
					
urllib.request.urlopen()基本使用

					
热门推荐

				
			

			

				

					mingyuli的博客
				

				

					03-12
					
					3万+
					
				

			

		

		

			
				
import urllib.request

url = 'https://www.python.org'
# 方式一
response = urllib.request.urlopen(url)
print(type(response))  # <class 'http.client.HTTPResponse'>
# 方式二
request = urllib.request.Req...

			
		

	





	

		

			

				
					
 <urlopen error [Errno 110] Connection timed out>

				
			

			

				

					01-23
				

			

		

		

			
				
 response = urllib.request.urlopen(url, timeout=10)  # 处理响应数据  except urllib.error.URLError as e:  print("连接超时：", e)  ```   在上述代码中，timeout参数被设置为10秒，如果连接超过10秒仍未建立，...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值