Python爬虫笔记（三）Urllib库的使用

简述

urllib库是Python自带库，作为最基本的请求库，提供了一系列用于操作URL的功能。

urllib.request    向页面发送请求并返回，联系之前的get和post两种请求方式

        urlopen    实现对目标网站的访问，使用urllib.request.urlopen       


    urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

        其中data!=None 时，使用post方式，否则get方式。timeout=1，即要求在1秒内取得响应，否则error

urllib.parse    对url进行解析

        urlencode    将字典{}编码，转成url可读形式，如百度搜索栏中的空格会在url中显示%20

urllib.error    异常处理

http测试网址：http://httpbin.org

实例

1简单获取百度首页信息，get模式

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print (response.read().decode("UTF-8"))