python爬虫基础封装函数

# 导入包，模块
from urllib import request, parse
from urllib.error import HTTPError, URLError
#保存cookie
from http import cookiejar

#对于有登录是  所将用户记录下来 ，  
class session(object):
    def __init__(self):
        cookie_object = cookiejar.CookieJar()
        #handler  对应着一个操作
        handler = request.HTTPCookueProcessor(cookie_object)
        #调用handler内部的一个函数，存储到cookie  object
        self.opener = request.build_opener(handler)
   
    # get请求时
    def get(self, url, headers=None):
        return get(url, headers, self.opener)
    #post请求时
    def post(self, url, from, headers=None):
        return post(url, form, headers, self.opener)

# 定义函数
# get方法
def get(url, headers=None):
    return urlrequests(url, headers=headers)


# post方法
def post(url, form, headers=None):
    return urlrequests(url,form, headers = headers)

    # 进行封装函数
    # 1.传入url
    # 2.user_agent
    # 3.headers
    # 4.定义Re