正则表达式进行数据爬取

聚焦爬虫：爬取页面中指定的内容

1. 指定 url
2. 发起请求
3. 获取响应数据
4. 数据解析
5. 持久化存储

数据解析分类：正则，bs4，xpath(*通用性强)
数据解析原理：解析的局部的文本内容，都会在标签或者标签对应的属性中进行存储
进行指定标签定位
标签或者标签对应的属性中存储的数据值进行提取
①：正则表达式—
. ：除换行以外所有字符
[] ：[aoe] [a-w]匹配集合中的任意一个字符
\d ：数字【0-9】
\D ：非数字
\w ：数字、字母、下划线、中文
\W ：非\w
\s ：所有的空白字符包，包括空格，制表符、换页符等等。
* ：任意多次 >=0
+ ：至少1次 >=1
? ：可有可无 0或1
{m} ：固定m次 hello{3,}
{m,} ：至少m次
{m,n} ：m–n次
$ ：以某某结尾
^ ：以某某开头
(ab)：分组
. ：贪婪模式
.? ：非贪婪模式
爬取图片数据：
分析：首先提取一张图片的地址，作为url。进行正常提取，需要注意的是，请求形式，不是以文本形式，应该是以二进制的形式进行提取。
提取出来的是url对应的图片。

import requests
if __name__ == '__main__':
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }
    #如何爬取图片数据
    url = 'https://pic.qiushibaike.com/system/pictures/12372/123728527/medium/P6J773I87696NXAO.jpg'
    img_data = requests.get(url=url).content#content返回的的二进制形式的图片数据
    #text（字符串） json()（对象）
    with open('./qiutu.jpg','wb') as fp:
        fp.write(img_data)

爬取糗事百科中的第一页的所有图片
使用通用爬虫对url对应的一整张页面进行爬取
由此获取整张页面的源码数据
将页面的图进行提取
分析：只需要获取子div中class=thumb的img标签当中的src即可
对应代码编写正则表达式

<div class="thumb">

<a href="/article/123728527" target="_blank">
<img src="//pic.qiushibaike.com/system/pictures/12372/123728527/medium/P6J773I87696NXAO.jpg" alt="糗事#123728527" class="illustration" width="100%" height="auto">
</a>
</div>

正则表达式：

  ex = '<div class="thumb">.*?<img src="(.*?)"alt.*?</div>'

代码如下

import requests
import re
import os
#引入正则表达式
if __name__ == '__main__':
    #创建一个文件夹保存所有图片
    if not os.path.exists('./qiutuLibs'):
        os.mkdir('./qiutuLibs')
    #UA伪装：将对应的User-Agent封装到一个字典中
    url = 'https://www.qiushibaike.com/imgrank/'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }
#使用通用爬虫对url对应的一整张页面进行爬取
page_text = requests.get(url=url,headers=headers).text
#由此获取整张页面的源码数据
#将页面的图进行提取
#分析，只需要获取子div中class=thumb的img标签当中的src即可
#对应代码编写正则表达式
ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
#使用聚焦爬虫将页面中所有的糗图进行解析/提取
img_src_list = re.findall(ex,page_text,re.S)
#遍历list数组
for src in img_src_list:
    src = 'https:'+src
    #请求到图片的二进制数据
    img_data = requests.get(url=src,headers=headers).content
    #生成图片名称
    img_name = src.split('/')[-1]
    #图片存储路径
    imgPath = './qiutuLibs/'+img_name
    with open(imgPath,'wb') as fp:
        fp.write(img_data)
        print(img_name,'下载顺利')

爬取糗图百科中的所有图片
分析：
①：通过对url的规律的找寻，我们发现第二页的url相较于第一页多了一个page/2。
②：只需要将url的page/2部分进行遍历。

import requests
import re
import os
#引入正则表达式
if __name__ == '__main__':
    #创建一个文件夹保存所有图片
    if not os.path.exists('./qiutus'):
        os.mkdir('./qiutus')
    # UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
        }
    #设置一个通用的url模板
    url = 'https://www.qiushibaike.com/imgrank/page/%d/'
    for pageNum in range(1,3):
        new_url = format(url%pageNum)
#使用通用爬虫对url对应的一整张页面进行爬取
        page_text = requests.get(url=new_url,headers=headers).text
        #由此获取整张页面的源码数据
        #将页面的图进行提取
        #分析，只需要获取子div中class=thumb的img标签当中的src即可
        #对应代码编写正则表达式
        ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
        #使用聚焦爬虫将页面中所有的糗图进行解析/提取
        img_src_list = re.findall(ex,page_text,re.S)
        #遍历list数组
        for src in img_src_list:
            src = 'https:'+src
            #请求到图片的二进制数据
            img_data = requests.get(url=src,headers=headers).content
            #生成图片名称
            img_name = src.split('/')[-1]
            #图片存储路径
            imgPath = './qiutus/'+img_name
            with open(imgPath,'wb') as fp:
                fp.write(img_data)
                print(img_name,'下载顺利')