3. 基本库的使用

使用urllib

• urllib 包括四个模块：request,error,parse,robotparser
• urllib.request.urlopen() 返回一个 http.client.HTTPResponse对象
• 包含： read()、readinto()、getheader(name)、getheaders()、fileno()
• 用status属性可以得到返回结果的状态码
• urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)
• data参数，使用Post方法传递数据到网址
• timeout参数，用于设置超时事件，单位为秒
• context参数，必须是ssl.SSLContext类型，用来指定SSL设置
• cafile和capath用来指定CA证书和它的路径

import urllib.request
import urllib.parse

data = bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf8')
response = urllib.request.urlopen("http://httpbin.org/post",data=data)
print(response.status)
print(response.getheaders())
print(response.getheader('Content-Type'))
print(response.read())

Request

• 如果请求中需要加入Headers等信息，就需要强大的Request类来构建
• urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
• url是必传参数，请求的URL地址
• data，使用bytes（字节流）类型。如果是字典，可以先用urllib.parse.urlencode()编码
• headers是请求头，可以构造Request时通过headers构造，也可以通过调用请求实例的add_header()方法添加
• origin_req_host 表示请求方host名称或者IP地址
• method 用来指示请求的方法：GET,POST,PUT等

from urllib import request,parse,error

url = 'http://httpbin.org/post'
headers={
    'User-Agent':'Mozilla/4.0(compatible;MSIE 5.5; Windows NT)'
}
dict = {
    'name':'Germey'
}
data = bytes(parse.urlencode(dict),encoding='utf8')
req = request.Request(url=url,data=data,headers=headers,method='POST')
req.add_header('Host','httpbin.org')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

• urllib.request模块里的BaseHandler类，它是其他所有Handler的父类
• HTTPDefaultErrorHandler ：用于处理HTTP响应错误
• HTTPRedirectHandler ： 用于处理重定向
• HTTPCookieProcessor ： 用于处理Cookies
• ProxyHandler ： 用于设置代理，默认代理为空
• HTTPPasswordMgr ： 用于管理密码，它维护了用户名和密码列表
• HTTPBasicAuthHandler ： 用于管理认证

import http.cookiejar,urllib.request

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
# 先把cookie输出出来看看
for item in cookie:
    print(item.name + '=' + item.value)
# 保存到文件中
filename = 'cookies.txt'
# MozillaCookieJar用来处理Cookies和文件相关的事件，保存成Mozilla类型浏览器的Cookies格式
# LWPCookieJar保存成libwww-perl(LWP)格式的cookie
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True,ignore_expires=True)

处理异常

• URLError 有一个属性reason，返回错误原因

try:
    response = request.urlopen('http://www.baidu.com')
except error.URLError as e:
    print(e.reason)

• HTTPError 专门用来处理HTTP请求错误，有3个属性：code,reason,headers

try:
    response = request.urlopen('http://www.baidu.com')
except error.HTTPError as e:
    print(e.reason,e.code,e.headers,sep='\n')

解析链接

• urllib.parse 模块，定义了处理URL的标准接口
• urlparse() 实现URL的识别和分段，返回一个6段元组数据
• urlunparse() 把长度是6的数组数据装配成一个url
• URLsplit() 与urlparse()不同之处在于返回一个5段元组，不单独解析params这一部分
• urlunsplit() 与urlunparse()类似，把长度为5的数组数据拼装为一个url
• urljoin(base_url,new_url) 分析base_url的scheme、netloc、path内容，并对new_url缺失部分进行补充，并返回
• urlendode(params) 对输入值进行序列化
• parse_qs(query) 把参数反序列化，转换为字典返回
• parse_qsl(query) 把参数转化为元组组成的列表
• quote(keyword) 把参数中的中文转化为URL编码并返回
• unquote(url) 把参数中的URL编码进行解码并返回

使用 requests

• r = request.get(url) 后得到一个 requests.models.Response
• r.encoding 得到页面的编码方式
• r.status_code 获得页面状态
• r.text 获得页面文本，不需要再转码
• 用requests.get(url,params) 传入data时，无需转成bytes
• 如果返回的数据是JSON，可以直接r.json() 把返回的数据转换为字典

import requests
data ={
    'name':'germey',
    'age':25
}
r= requests.get('http://httpbin.org/get',params=data)
print(r.encoding)
print(r.text)
a=r.json()
print(a['headers']['User-Agent'])

• 如果不修改headers伪装成浏览器的话，User-Agent或暴露访问端是Python，而被反爬

import requests
headers = {
    'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4) '
                 'AppleWebKit/537.36(KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r= requests.get('https://www.baidu.com',headers=headers)
print(r.encoding)
print(r.text)
print(r.headers)

• 在网页中找到登录后的cookie值，放在headers中，用get传入
• 模拟获取cookie登录微博

import requests
headers = {
    'Cookie':'Cookie: YF-V5-G0=f5a079faba115a1547149ae0d48383dc; login_sid_t=59702410e669375480067ea7afa31155; cross_origin_proto=SSL; Ugrow-G0=140ad66ad7317901fc818d7fd7743564; WBStorage=42212210b087ca50|undefined; _s_tentry=passport.weibo.com; wb_view_log=1920*10801; Apache=251318191809.92166.1585017681523; SINAGLOBAL=251318191809.92166.1585017681523; ULV=1585017681558:1:1:1:251318191809.92166.1585017681523:; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WFBmoUp_fzZ0vlv13KFbzcM5JpX5K2hUgL.Fo2RehnfShBpeoB2dJLoIEXLxKML12-LBK.LxK-L1K2LB.BLxKML1-2L1hBLxKnL1-eL1KMLxKML1h.L1-zt; ALF=1616553705; SSOLoginState=1585017706; SCF=AqQoQaQ-edhLJLxiBBogq_jm7-dn7W8F6q390fwSRHA8jBnzanZq_PuavSNxTqd5aGOqeylxrILTCpbI2WLSVJM.; SUB=_2A25zfQM6DeRhGedG61oU9CrNyTiIHXVQC3PyrDV8PUNbmtAfLRb3kW9NUWxTvimclcmFNI3RBHfYUY2H6IB7WrEL; SUHB=079SjTzHJmzorT; un=siskin@sohu.com; wvr=6; wb_view_log_1808544124=1920*10801; YF-Page-G0=86b4280420ced6d22f1c1e4dc25fe846|1585017710|1585017710; webim_unReadCount=%7B%22time%22%3A1585017714573%2C%22dm_pub_total%22%3A1%2C%22chat_group_client%22%3A0%2C%22allcountNum%22%3A42%2C%22msgbox%22%3A0%7D',
    'Host':'weibo.com',
    'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4) '
                 'AppleWebKit/537.36(KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get('https://weibo.com/siskinxu/home?wvr=5&lf=reg',headers=headers)
print(r.text)

• 用cookie登录成功后，需要访问不同页面或切换使用post()和get()，但是不希望每次都传递和验证cokie，用session保持会话

正则表达式

• ans = re.match(regExp,content) regExp是正则表达式，content是需要内容文本，返回一个SRE_Match对象
• ans.group() 获得完整匹配到的内容 ans.group(1) 获得regExp中第一个被（）包围的匹配结果
• 在匹配的时候，加上re.S参数，可以匹配节点与节点之间的换行

修饰符	描述
re.I	使匹配对大小写不敏感
re.L	做本地化识别(locale-aware)匹配
re.M	多行匹配，影响^和$
re.S	使.匹配包括韩航在内的所有字符
re.U	根据Unicode字符集解析字符。影响\w、\W、\b、\B
re.X	该标志通过给予更灵活的格式以便你将正则表达式写得更容易理解

• match() 必须从content的头部开始匹配成功，如果Reg可匹配的部分在content当中开始，则匹配不成功。它只适合用来检测某个字符串是否否和某个正则表达式的规则
• re.search() 在匹配时会扫描整个字符串，返回第一个匹配成功的结果
• re.findall(regExp,content) 获取匹配正则表达式的所有内容
• re.sub(regExp,repStr,content) 把content中满足regExp的部分用repStr替换
• re.compile(regExp) 把正则字符串编译成正则表达式对象；也就是给正则表达式做了一层封装，以便更好的复用

例子，爬取电影猫top100数据

import requests,re,json

class maoyanMovie():
    def get_one_page(self,inUrl):
        headers={
            'User-Agent': 'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4) '
                          'AppleWebKit/537.36(KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36'
        }
        response = requests.get(inUrl,headers=headers)
        if(response.status_code == 200):
            return response.text
        return None
        
    def parse_one_page(self,inHtml,inPatternText):
        pattern = re.compile(inPatternText,re.S)
        items = re.findall(pattern,inHtml)
        items1 = []
        # 整理数据
        for item in items:
            yield{
                'index':item[0],
                'image':item[1],
                'title':item[2].strip(),
                'actor':item[3].strip()[3:] if len(item[3])>3 else '',
                'time': item[4].strip()[5:] if len(item[4])>5 else '',
                'score': item[5].strip()+item[6].strip()
            }
            items1.append(item)
        return items1

    def write_to_file(self,inContent):
        with open('result.txt','a',encoding='utf-8') as f:
            #print(type(json.dumps(inContent)))
            f.write(json.dumps(inContent,ensure_ascii=False)+'\n')

    def main(self,inOffset):
        url = 'http://maoyan.com/board/4?offset='+str(inOffset)
        html = self.get_one_page(url)
        # 注意，要去看Network的Response，而不是页面的element，有些标签、属性输出的会不一致，以Response为准
        patternText = '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'
        for item in self.parse_one_page(html,patternText):
            print(item)
            self.write_to_file(item)



# 输出
if __name__ == '__main__':
    aMaoyan = maoyanMovie()
    for i in range(10):
        aMaoyan.main(i*10)