urllib 爬虫

第1关  urllib基础

import urllib.request
def request(url):
    '''
    一个参数
    :param url:请求网址
    :return:返回一个请求的字符串。编码为utf-8
    '''
    # *************** Begin *************** # 
    r=urllib.request.urlopen(url)
    r=r.read().decode('utf-8')
    return r
    # *************** End ***************** #

第2关  urllib进阶

import urllib.request
import http.cookiejar
def request(url,headers):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return:html
    '''
    
    # ***************** Begin ******************** #
    cookie = http.cookiejar.CookieJar()     
    handler = urllib.request.HTTPCookieProcessor(cookie) 
    opener = urllib.request.build_opener(handler)    
    r = opener.open(url)
    # ***************** End ******************** #
    html = r.read().decode('utf-8')
    return html