python爬虫从入门到放弃（三）- Urllib库的基本使用方法1

Urllib 是Python自带的标准库，无需安装，直接可以用。
提供了如下功能：

• 网页请求
• 响应获取
• 代理和cookie设置
• 异常处理
• URL解析

爬虫所需要的功能，基本上在urllib中都能找到，学习这个标准库，可以更加深入的理解后面更加便利的requests库。

----------------------------------------------------------------------我是分割线--------------------------------------------------------------------

先来一个最简单的例子：

from urllib import request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))

执行后就可以得到百度首页的  HTML 。

response对象有一个read方法，可以返回获取到的网页内容。

如果不加read直接打印会直接打印出了该对象的描述

上面使用了一个 urlopen的函数，urlopen()函数用于实现对目标url的访问。

urlopen 语法

urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)
#url:访问的网址

#data:额外的数据，如header，form data

从上一篇文章可以看到数据传送主要分为POST和GET两种方式。那这两种方式有什么区别呢？

最重要的区别：

GET方式直接以链接形式访问，链接中包含了所有的参数，若包含了密码的话是不安全的，不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数，不过如果你想直接查看提交了什么就不太方便了。

POST方式：

先演示一下吧：

import urllib.parse
import urllib.request

values = {"username":"1559186****","password":"*********"}
data = urllib.parse.urlencode(values)
url = "https://passport.csdn.net/account/login"
response = urllib.request.urlopen(url,data)
print(response.read())

urlencode是一个函数，可将字符串以URL编码，用于编码处理。

可以看到核心的代码是 response = urllib.request.urlopen(url,data)

这里用到了data参数（或者说POST方式用到了data参数）。例子上的data参数中的内容十分简单、所以并不能真正的登录。

GET方式：

同样的，先举个例子：

import urllib.parse
import urllib.request

values = {"username":"15591861964","password":"yanhang1235813"}
data = urllib.parse.urlencode(values)
url = "https://passport.csdn.net/account/login"
geturl = url + "?"+data
response = urllib.request.urlopen(geturl)
print(response.read())

可以看到这次的核心代码是这样的 ： response = urllib.request.urlopen(geturl)

没有了data参数、只是url参数。而URL参数的内容是原来的url加  ？然后加编码后的参数。

从上面的POST和GET两种不同方式的例子就验证了一个结论，

GET方式直接以链接形式访问，链接中包含了所有的参数

POST则不会在网址上显示所有的参数

------------------------------------------上面就是我学习到的些许爬虫原理----------------------------------------

------------------------------------------下面是扩展学习的一些东西（Urllib库的其他内容）-----------------------------------

timeout参数的使用

开始练习的时候我是对 http://httpbin.org/post 这个网站发的请求，但是迟迟没有响应、、、

最终返回了报错信息

urllib.error.HTTPError: HTTP Error 503: Service Unavailable

那如果给请求设置一个超时时间应该会好一点，urlopen有一个timeout参数

from urllib import request

response = request.urlopen('http://httpbin.org/get', timeout=0.1)
print(response.read())

这次的错误返回信息是：

urllib.error.URLError: <urlopen error timed out>

也可以将这个作为异常、捕获处理

import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')