爬虫实战---正则表达式提取信息

最新推荐文章于 2023-05-22 16:03:41 发布

BullGod

最新推荐文章于 2023-05-22 16:03:41 发布

阅读量2.4k

点赞数

分类专栏： regex 文章标签： spider

本文链接：https://blog.csdn.net/BullGod/article/details/79783910

版权

本文介绍了如何使用正则表达式在爬虫中提取网页信息。通过re.compile()建立匹配规则，re.findall()获取所有匹配结果的列表，以及re.split()删除特定字符。还提及了运用面向对象编程，利用requests库请求服务器数据（爬取了506页），并使用open函数进行文件的读写操作。

摘要由CSDN通过智能技术生成

正则提取网页时，常用的函数有：
-re.compile() #建立匹配规则
-re.findall() #返回的符合匹配规则的所有结果的一个列表
-re.split() #删除满足条件的字符或特殊符号
实例所采用的知识的：
-采用面向对象的方法
-利用requests对服务器发出请求(一共爬取506页)
-利用正则表达式提取网页信息
-open函数进行读写操作

import requests
import re
class Spider:
    #初始化参数
    def __init__(self,page):
        self.url='http://www.neihan8.com/article/list_5_{}.html'.format(page)
        self.headers={
            "User-Agent"