urllib实战3--超时设置(015)与自动模拟http请求get与post(016)

本文介绍了Python的urllib库中如何设置超时时间,以及如何使用HTTP的GET和POST方法进行模拟请求。通过实例展示了GET请求如何搜索关键字并保存网页内容,POST请求则需要对数据进行编码和处理。
摘要由CSDN通过智能技术生成

一:基础介绍

超时设置:由于网页的速度或者是对方服务器的问题,我们爬取网页的时候都需要一定的时间。如果访问一个网页但是长时间都没有响应,那么系统就会判断网页超时了,无法打开此网页。

有些时候我们需要自己来设定超时的时间,有的网站反应快,我们就会希望2秒没有反应就是超时,此时的timeout的值就是2.而有的网站服务器反应慢,我们就希望超时时间长一点。

自动模拟http请求:客户端与服务器端进行通信,需要通过http请求进行,http请求有很多种,在此只讲get与post 2种。在登录或者搜索信息的时候会用到。

二:实战讲解

1:设置超时实战

   设置timeout=0.1,则为超时。


下面用一个循环来显示一下效果:


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值