对爬虫程序代码进行封装,减少代码的冗余,提高重用性,避免重复造轮子。
具体代码如下:
from http import cookiejar
from urllib import request,parse
from urllib.error import HTTPError,URLError
class session(object):
def __init__(self):
#实例化一个cookie储存容器
cookie_object = cookiejar.CookieJar()
#实例化一个操作cookie的对象
handlers = request.HTTPCookieProcessor(cookie_object)
#创建一个opener对象 赋予cookiejar和handler的功能
self.opener = request.build_opener(handlers)
def get(self,url,headers=None):
return get(self,url,headers,self.opener)
def post(self,url,form,headers=None):
return post(self,url,form,headers,self.opener)
#定义get请求方式
def get(url,headers=None,opener=None):
return urlrequests(url,headers=headers,opener=opener)
#定义post请求方式
def post(url,form,headers=None,opener=None):
return urlrequests(url,form,headers=headers,opener=opener)
#1. 传入url
#2.