爬取包图网教师节海报

Sh ..nx

于 2021-09-02 21:09:26 发布

阅读量180

点赞数 1

分类专栏：正则表达式 python 文章标签：正则表达式爬虫 python

本文链接：https://blog.csdn.net/weixin_51412013/article/details/120069792

版权

本文记录了作者初次尝试使用正则表达式爬取包图网教师节海报的经历。虽然成功完成任务，但作者发现正则表达式在某些情况下可能导致代码复杂且运行效率低下，计划后续探索其他爬虫方法。

摘要由CSDN通过智能技术生成

最近刚刚学习了正则表达式，于是立刻用正则表达式爬取了包图网教师节海报

from urllib import request
import re
import os.path
headers = {
   

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'

}

#定义一个url拼接的函数
def url_splice(page):
    url = 'https://ibaotu.com/guanggao/1-106-0-1206-0-' + str(page) +'.html'#找到每页教师节图片url的共同点
    return url

#定义一个获取原网页的类
class Page_Text(object):
    def __init__(self, url , headers):     #初始化，传入url和headers
        self.url = url
        self.headers = headers
        self.pattern = '<dt><a href="(.*?)" target="_blank" data-id="[0-9]*".*?alt="(.*?)".*?</a>.*?</dt>'   #初始化正则表达式规则

    def get_page_text(self):     #获取原网页源代码
        req = request.Request