【Python第1篇】爬虫基础----------urllib库

urllib是Python内置的HTTP请求库。四大模块

urllib.request                     请求模块  
urllib.error                       异常处理模块 
urllib.parse                       提供一些URL的处理方法 
urllib.robotparser robots.txt      解析模块

urllib.requet模块
urlopen()方法
GET请求
response = urllib.request.urlopen('https://www.baidu.com')

POST请求
import urllib.request
import urllib.parse

data = bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf-8')
res = urllib.request.rulopen("http://httpbin.org/post",data=data)
print(res.read().decode('utf-8))

timeout参数
respose = urllib.request.urlopen('https://www.baidu.com',timeout=1)

urllib.error模块
frin urllib import request,error

try:
   response = requesst.urlopen(http://www.xf1433.com/hack.txt')
except error.HTTPError as e:
   print(e.reason, e.code,e.headers,sep='\n'

urllib.parse模块
urlparse()

scheme://netloc/path;params?query#query#fragent

urlsplit()