关于urllib2.open的正确使用方式

最新推荐文章于 2022-12-15 08:31:56 发布
最新推荐文章于 2022-12-15 08:31:56 发布
阅读量1.3k 收藏
点赞数
分类专栏： python 文章标签： python 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/killermyth/article/details/39317545
版权

为了开发起来方便，项目中大量使用了松耦合的http json接口方式

今天突然发现上线系统8点该发的短信，10点才发出来的情况

细细排查，发现竟然是urllib2.open搞的鬼，可能由于网络不稳定，连接一次接口竟然花费了2个小时，然后进入了except中报错


其实改进很简单

urllib2.urlopen(mobileUrl,timeout=60)

mobileUrl为要访问的接口   60为超时时间设置，单位为s


如果想进一步对超时后的情况进行处理，可以在except中捕获对应的日志，然后在日志中查找对应的关键字，如果是timeout，然后怎么做

这部分就只提供思路了

killermyth
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫（二）用Urllib快速爬取网页
justDoIt
05-28 1128
一、用Urllib快速爬取网页1.     爬取网页直接保存通过调用urllib.request.urlretrieve直接将爬取的网页保存到对应的文件中。filename = urllib.request.urlretrieve("http://www.baidu.com",filename = "e:/pythonchar/2.html") 2.     纯粹的爬取网页，简单思路如下：1、  ...
urllib库的urlopen详解
实践求真知
01-06 1万+
一 爬虫基本库 Python提供了功能齐全的类库来帮助我们完成网络请求。最基础的HTTP库有urllib、httplib2、requests、treq等。 urllib库，只需要关心请求的链接是什么，需要传的参数是什么以及可选的请求头设置就好了，不用深入到底层去了解它到底是怎样传输和通信的。有了它，两行代码就可以完成一个请求和响应的处理过程，得到网页内容。 二 urllib介绍 在Pyth...
【python】urllib库之四大模块
贾继康的博客
09-18 9194
文章目录urllib库一 urllib库四大模块1：urlopen()2：data参数3：timeout参数二：request.Request方法1：一般用法2：高级用法1：验证2：代理3：Cookies三：异常处理1：URLError2：HTTPError四：解析链接1：urlparse()2：urlunparse()3：urlsplit()4：urlunsplit()5：urljoin()6：...
urllib2.open(req).read() 报403的错误：怎么办？
weixin_30585437的博客
07-15 372
http://www.douban.com/group/topic/18095751/ heads = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Charset':'GB2312,utf-8;q=0.7,*;q=0.7','Accept-Language':'z...
爬虫库urllib使用（2） 处理异常
qi85481455的博客
01-21 192
文章目录一、说明二、URLError三、HTTPError 一、说明   在我们请求的过程中会遇到网络不好或者程序连接有问题的情况，如果这些异常不处理，程序可能会因为报错而终止运行。 二、URLError   URLError类来自于urllib库的error模块，是error异常模块中的基类，由request模块中的异常都可以通过这个类处理。 from urllib import request,error try: responde = request.urlopen("https://ww
python爬虫学习---urllib的用法
look_word的博客
05-19 136
python爬虫学习 urllib的用法 提供了如下功能： 网页请求 响应获取 代理和cookie设置 异常处理 URL解析 用法 # request:GET import urllib.request response = urllib.request.urlopen('http://www.baidu.com') print(response.read().decode('utf-8')) ​ # request: POST # http测.
python使用urllib2提交http post请求的方法
09-22
使用`urllib2.Request`创建一个Request对象，它包含了将要发送的URL。在这个例子中，我们只传递了URL，没有设置HTTP方法（默认是GET），所以需要在后续步骤中设置。 4. **编码数据**： `urllib.urlencode`函数...
使用Python的urllib2模块处理url和图片的技巧两则
09-21
本篇文章将详细讲解如何使用`urllib2`来处理包含中文参数的URL以及获取远程图片的大小和尺寸。 首先，让我们探讨如何处理带有中文参数的URL。在URL中，非ASCII字符（如中文）需要经过编码才能正确传递。Python的`...
怎么解决Sublime Text 2中文显示乱码.docx
09-27
open(os.path.join(ipp,pf),wb).write(urllib2.urlopen('http://sublime.wbond.net/'+pf.replace(' ','%20')).read()); print('Please restart Sublime Text to finish installation')` 安装中文支持插件 安装好 ...
python 使用poster模块进行http方式的文件传输到服务器的方法
09-19
使用`urllib2.urlopen`函数发送请求，并获取服务器的响应。 ```python response = urllib2.urlopen(request) ``` 6. **服务端接收文件**： 服务端接收到请求后，文件数据会存储在`request.FILES`对象中。在...
详解Python下载图片并保存本地的两种方式
09-19
6. **二进制模式**：在写入文件时，使用'wb'模式以二进制方式写入，适用于图片等非文本数据。 了解并掌握这些知识点，可以帮助你在Python编程中实现从网络下载图片并保存至本地的需求。无论你是初学者还是有经验的...
爬虫之urllib2库的自定义Opener
lixinkuan的博客
02-13 544
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能： 使用相关的Handler处理器来创建特定功能的处...
python urllib urllib2 urllib3 用法 区别
whatday的专栏
12-15 1548
简介在可供使用的网络库中，urllib和urllib2可能是投入产出比最高的两个，是Python中操作url的官方标准库。它们让你能够通过网络访问文件，就像这些文件位于你的计算机中一样。只需一个简单的函数调用，就几乎可将统一资源定位符（URL）可指向的任何动作作为程序的输入。结合re模块使用将发挥强大威力！模块urllib和urllib2的功能差不多，简单来说urllib2是urllib的增强——urllib2更好一些，但是中有urllib2中所没有的函数。对于简单的下载，urllib绰绰有余。
Python urllib opener建立
HesseHermann的博客
11-09 529
使用python中urllib模块建立opener保存表单信息
关于urllib2.urlopen()的理解
Jamie Jiang's Blog
07-19 5194
第一次使用Markdown编辑器作为 python 的入门人员，对最近学习的网页下载器有很多小疑问，在这里记录一下，都是我自己查资料逛网站的理解，欢迎指正！ 首先说一下： urllib2 是什么？urllib2 是 python 官方提供的一个获取url（Uniform Resource Locators，统一资源定址器）基础模块。 urlopen()是什么？urlopen是一个函数形式的接口，用来
【urllib.request的基本用法】
bettyantony的博客
02-12 912
一、爬虫的工作原理 1.确认你抓取的目标的url是哪一个 2.使用python代码发送请求获取数据 3.解析获取到的数据(精确数据) ①找到新的目标（url）②回到第一步（自动化） 4.数据持久化 二、注意问题 1.urllib.request ——url的request模块可以非常方便的抓取url内容，即发送一个get请求到指定的页面，然后返回HTTP的响应。 2.python爬取的数据类型可能...
urllib.request.urlopen()基本使用
热门推荐
mingyuli的博客
03-12 3万+
import urllib.request url = 'https://www.python.org' # 方式一 response = urllib.request.urlopen(url) print(type(response)) # <class 'http.client.HTTPResponse'> # 方式二 request = urllib.request.Req...
for循环
weixin_50266677的博客
09-09 1006
上代码： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> </head><body>
urllib2详解
weixin_34345753的博客
09-15 242
先发个牢骚：博客园这服务器也太破了吧！每次想写个什么东西这慢的，要不是看上这编辑器还不错，真难以忍受。下面是正题： 先发段代码： main() { printf(&unix["\021%six\012\0"],(unix)["have"]+"fun"-0x60);} 以上的一条代码是1987年，由贝尔实验室的David Korn提交的获奖作品，为什么我想起这茬儿呢？还不是...
raise error.APIConnectionError( openai.error.APIConnectionError: Error communicating with OpenAI: HTTPSConnectionPool(host='api.openai.com', port=443): Max retries exceeded with url: /v1/chat/completions (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x000001B01410E5B0>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。'))
最新发布
07-13
ChatGPT是一种由OpenAI训练的大型语言模型。它的原理是基于Transformer架构，通过预训练大量文本数据来学习如何生成人类可读的文本，然后通过接受输入并生成输出来实现对话。 ChatGPT的用途非常广泛，可以用于自然...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值