read( )方法
下面再通过一个实例来看看:
运行结果如下:
可见,前两个输出分别输出了响应的状态码和响应的头信息,最后一个输出通过getheader( )方法传递一个参数Server获取了响应头中的Server值,结果是nginx,意思是服务器使用Nginx搭建的。最后,如果你的时间不是很紧张,并且又想快速的python提高,最重要的是不怕吃苦,建议你可以架微♥信:762459510 ,那个真的很不错,很多人进步都很快,需要你不怕吃苦哦!大家可以去添加上看一下~
利用最基本的urlopen( )方法,可以完成最基本的简单网页的GET请求抓取。
如果想给链接传递一些参数,该怎么实现呢?首先看一个urlopen( )函数的API:
urllib.request.urlopen(url, data=None,[timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
可以发现,除了第一个参数可以传递URL之外,我们还可以传递其他内容,比如data(附加数据)、timeout(超时时间)等。
下面我们详细说明下这几个参数的用法。
data参数
data参数是可选的。如果要添加该参数,需要使用bytes( )方法将参数转化为字节流编码格式的内容,即bytes类型。另外,如果传递了这个参数,则它的请求方式就不再是GET方式,而是POST方式。
下面用实例来看一下:
这里我们传递了一个参数word,值是hello。它需要被转码成bytes(字节流)类型。其中转字节流采用了bytes( )方法,该方法的第一个参数需要是str(字符串)类型,需要用urllib.parse模块里的urlencode( )方法来参数字典转化为字符串;第二个参数指定编码格式,这里指定为utf8。这里请求的站点是httpbin.org,它可以提供HTTP请求测试。我们用图中的链接来测试POST请求,它可以输出请求的一些信息,其中包含我们传递的data参数。最后,如果你的时间不是很紧张,并且又想快速的python提高,最重要的是不怕吃苦,建议你可以架微♥信:762459510 ,那个真的很不错,很多人进步都很快,需要你不怕吃苦哦!大家可以去添加上看一下~
运行结果如下:
我们传递的参数出现在了form字段中,这表明是模拟表单提交的方式,以POST方式传输数据。
timeout参数
timeout参数用于设置超时时间,单位为秒,意思就是如果请求超出了设置的这个时间,还没有得到响应,就会抛出异常。如果不指定该参数,就会使用全局默认时间。它支持HTTP、HTTPS、FTP请求。
下面我们用实例来看一下:
运行结果如下:
这里我们设置超时时间是0.1秒。程序0.1秒之后,服务器依然没有响应,于是抛出了URLError异常。该异常属于urllib.error模块,错误原因是超时。
因此,可以通过设置这个超时时间来控制一个网页如果长时间未响应,就跳过它的抓取。这可以利用try-except语句来实现,相关代码如下:
这里我们请求了图中urlopen( )中的测试链接,设置超时时间为0.1秒,然后捕获了URLError异常,接着判断异常是socket.timeout类型(意思就是超时异常),从而得出它确实是因为超时而报错打印输出了:Time out!我们可以看到运行结果和我们预期的是一样的:
通过设置timeout这个参数来实现超时处理,有时还是很有用的。
其他参数
除了data参数和timeout参数外,还有context参数,它必须是ssl.SSLContext类型,用来指定SSL设置。此外,cafile和capath这两个参数分别指定CA证书和它的路径,它在请求HTTPS链接时会有用。cadefault参数现在已经弃用了,其默认值为False。