【爬虫】urllib.requests库学习笔记

urllib.requests:是urllib库中的请求模块,用于发起网络请求,操作cookie,添加hearders,使用代理,默认发送GET请求,传入data参数时发起POST请求,可以设置请求超时时间.

基础操作:

response=requests.urlopen(url=url,data=data,timeout=time):使用GET(POST)请求指定URL所获取的数据.

response.read():获取响应返回的数据,只能读取一次.

response.readline():读取response中的一行.

response.info():获取响应头信息.

response.geturl():获取response访问的URL.

response.getcode():获取返回状态码.

请求头添加示例:(data添加也是一样的操作)

设置请求头:headers={'User-Agent':'....................'}

设置请求头:req=requests.Requests(url="www.4399.com",headers=headers)

发送请求:response=requests.urlopen(req)

操作cookie示例:from http import cookiejar

创建一个cookie对象:cookie=cookiejar.Cookiejar()

创建一个cookie处理器:cookies=requests.HTTPCookieProcessor(cookie)

创建一个openner对象:opener=requests.build_opener(cookies)

发送请求:res=opener.open("www.4399.com")

输出结果:print(cookie.cookiejar)

设置代理示例:from urllib import requests

url='www.4399.com'

填写代理地址:proxy={'http':"............."}

代理处理器:proxies=requests.ProxyHandler(proxy)

创建opener对象:opener=requests.build_opener(proxies)

发送请求:res=opener.open(url)