python 爬虫基础之正则表达式

在python爬虫中正则表达式是一种强大的工具，可以帮助我们从网页中提取出需要的信息。正则表达式是由一些特殊字符和普通字符组成的模式，用来匹配字符串中的文本或者数字等。

• . 表示任意字符
• ^ 表示以某个字符开头
• $ 表示以某个字符结尾
• • 表示前面的字符重复0次或多次
• • 表示前面的字符重复1次或多次
• ? 表示前面的字符重复0次或1次
• [] 表示匹配括号内的任意一个字符

可能讲概念不容易懂，而且超级难理解，所以我直接举例，方便大家理解

1. 匹配URL地址

import re

text = "Visit my website at https://www.example.com"

pattern = r'https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+'
url = re.findall(pattern, text)

print(url)

上述代码使用正则表达式找到字符串中的URL地址，并将其存储在列表中。正则表达式‘https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+'表示匹配以http或https开头的URL地址。

2. 匹配电子邮件地址

import re

text = "My email address is example@example.com"

pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
email = re.findall(pattern, text)

print(email)

上述代码使用正则表达式找到字符串中的电子邮件地址，并将其存储在列表中。正则表达式\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b表示匹配符合电子邮件格式的地址

3. 匹配HTML标签

import re

html = '<div class="container"><p>Hello, World!</p></div>'

pattern = r'<.*?>'
tags = re.findall(pattern, html)

print(tags)

上述代码使用正则表达式找到HTML标签，并将其存储在列表中。正则表达式<.*?>表示匹配所有的HTML标签。

除了re.findall()函数外，还有其他许多re模块中的正则表达式函数，例如re.search()、re.match()和re.sub()等。这些函数可用于在文本中查找、替换和提取信息。

那么该怎么和爬虫联系在一起，提取到我们想要的东西勒？

下面是，演示如何使用正则表达式在HTML页面中查找超链接： 

import re
import requests

url = "https://www.example.com"
response = requests.get(url)

pattern = r'<a .*?href="(.*?)".*?>'
links = re.findall(pattern, response.text)

for link in links:
    print(link)

上述代码中，我们请求了网页，使用requests库发送HTTP请求获取目标页面的内容，并使用re.findall()函数在HTML页面中查找与正则表达式匹配的所有超链接。正则表达式<a .*?href="(.*?)".*?>表示匹配所有的超链接，并且提取出其中的URL地址。