利用正则表达式爬取糗事百科

网站 https://www.qiushibaike.com/imgrank/

爬取页面中指定内容的步骤

（实际上就多了一步数据解析）
指定url
发请求
获得响应数据
数据解析
持久化存储

开始实战：

首先进行老几步
import requests
既然是利用正则表达式就要 import re
正则表达式的具体用法我会单独出一个文章

然后指定url和headers，因为不是动态加载就不需要指定其他参数

url = 'https://www.qiushibaike.com/imgrank/page/%d/'
headers={
    'User-Agent':
	'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0'
}

为什么是%d
看这个图，打开第二页的时候就变成%2 当打开第三页也会相继变成3.。。。。
当然，如果只想爬取第一页可以直接用开头的网址
接下来就开始对整个页面进行爬取

for pageNum in range(1,3):
    new_url = format(url%pageNum)
    page_text=requests.get(url=new_url,headers=headers).text
    print (page_text)

然后就是今天的重点：正则表达式，先上代码

ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    img_list_data=re.findall(ex,page_text,re.S)

通过比较找到这些图片中不一样的地方，用正则表达式代替其中不同的地方
正则表达式的用法可见

https://blog.csdn.net/liyaxin2010/article/details/82859867?ops_request_misc=&request_id=&biz_id=102&utm_term=%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-4-82859867.pc_search_result_before_js

后续我会自己写一篇正则表达式的文章的。

最后就是持久化存储

for src in img_list_data:
        src='http:'+src
        img_data=requests.get(url=src,headers=headers).content
        img_name=src.split('/')[-1]
        img_path='./qiutu/'+img_name
        with open(img_path,'wb') as fp:
            fp.write(img_data)
            print(img_name,'over!!!')

可以看到这里的url全称是有http：的。

下面是总代码

：

import requests
import re
import os
if not os.path.exists('/qiutu'):
    os.mkdir('./qiutu')
url = 'https://www.qiushibaike.com/imgrank/page/%d/'
headers={
    'User-Agent':
	'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0'
}
for pageNum in range(1,3):
    new_url = format(url%pageNum)
    page_text=requests.get(url=new_url,headers=headers).text
    print (page_text)
    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    img_list_data=re.findall(ex,page_text,re.S)
    for src in img_list_data:
        src='http:'+src
        img_data=requests.get(url=src,headers=headers).content
        img_name=src.split('/')[-1]
        img_path='./qiutu/'+img_name
        with open(img_path,'wb') as fp:
            fp.write(img_data)
            print(img_name,'over!!!')

最后询问一下大家的意见，写博客的时候要不要把各句的语法详解都写上？