数据解析和图片数据爬取（正则表达式）

数据解析分类：

正则;        bs4;      xpath(***)

#图片数据爬取（爬取糗事百科中的热图的图片）

 #content(返回二进制形式图片数据)
#text（字符串） content（二进制）json（对象）

match()方法：从字符串的开头开始匹配的，一旦开头不匹配，那么整个匹配就失败，更适合用来检测某个字符串是否符合某个正则表达式的规则

re.match(pattern, string[, flags]) 
➢ pattern表示正则表达式；
➢ string表示原来的字符串；
➢ flags表示一些特殊功能的标志。

search()方法： 依次扫描字符串，直到找到第一个符合规则的字符串，然后返回匹配内容，否则失败。 主要用于查询一次性结果。

re.search(pattern, string[, flags]) 
➢ pattern表示正则表达式；
➢ string表示原来的字符串；
➢ flags表示一些特殊功能的标志。

findall方法： 依次扫描字符串，直到找到所有符合规则的字符串列表，然后返回匹配内容，否则失败。主要用于查询所有结果

re.findall(pattern, string, flags=0)
◆pattern表示正则表达式；
◆string表示原来的字符串；
◆flags表示一些特殊功能的标志

---

re.I 使匹配对大小不敏感
re.M 多行匹配,影响^和$
re.S 使.匹配包括换行符在内的所有字符

---

group()方法主要有：
➢ match_obj.group(): 返回整个匹配内容
➢ match_obj.group(i): 返回第i个匹配内容
➢ match_obj.group(i,j): 返回第i,j个匹配内容

#图片数据爬取（爬取糗事百科中的热图的图片）
'''import requests
import re
import os
#创建一个文件夹，用来保存所有的图片
if not os.path.exists('./qiutu_libs'):
    os.mkdir('./qiutu_libs')
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'}
    #设定一个通用的URL模板
url='https://www.qiushibaike.com/imgrank/page/%d/'
for pageNum in range(1,3):
    #对应页码URL
    new_url=format(url%pageNum)
    response=requests.get(url=new_url,headers=headers)
    #使用通用爬虫，对一整张页面进行爬取
    page_text=response.text
    #使用聚焦爬虫将页面中所有的糗图进行解析
    ex='<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    img_src_list=re.findall(ex,page_text,re.S)
    for src in img_src_list:
        #拼接出一个完整的图片地址
        src='http:'+src
        #请求到图片的二进制数据
        img_data=requests.get(url=src,headers=headers).content
        #生成图片名称
        img_name=src.split('/')[-1]
        imPath='./qiutu_libs'+img_name
        with open(imPath,'wb')as fp:
            fp.write(img_data)
            print(img_name,'下载完成')'''