Python 爬虫学习02 Urllib库示例学习

import urllib.request

#1.获取一个get请求
#打开网页，并获取网页数据
response = urllib.request.urlopen('http://www.baidu.com')
#打印出来一个对象地址，这个对象就保存了所有的网页信息
print(response)
#防止有中文出现乱码，使用decode解码
print(response.read().decode('utf-8'))


#2.获取一个post请求，此方法可以在访问网址的时候给它发送一个表单，可以在里面把用户名密码加密
import  urllib.parse #解释器
#创建一个表单 以utf-8的方式进行解释
data = bytes(urllib.parse.urlencode({'hello':'world'}),encoding='utf-8')
response = urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read().decode('utf-8'))


#3.超时处理 timeout 在规定时间里网页没有响应则报错
try:
    response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.01)
    print(response.read().decode('utf-8'))
except urllib.error.URLError as e:
    print("time out!")

response = urllib.request.urlopen('http://httpbin.org/get',timeout=111)
print(response.status)

response = urllib.request.urlopen('http://www.baidu.com')
print(response.getheaders())
print(response.getheader('Bdpagetype'))


#4.伪装自己是浏览器不是爬虫
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'
}
#url = 'http://httpbin.org/post'
data = bytes(urllib.parse.urlencode({'name':'ouou'}),encoding='utf-8')
url = 'http://www.douban.com'
#response = urllib.request.urlopen(url)
#url 封装信息 头部信息 传递方式(一般只用到url 和 headers)
req = urllib.request.Request(url=url,data=data,headers=headers,method='POST')
#下面报错418 意思是你被识别到为爬虫禁止访问
#print(response.get())
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))