13.网络爬虫—数据提取1-正则表达式基础入门

摘要

正则表达式（Regular Expression），通常简称为“regex”或“regexp”，是一种用来定义搜索模式的文本格式，主要用途是在文本中检索符合某个模式的字符串。它由一组特定的字符组成，这些字符可以代表任意数量的字符或者某种特定的字符模式。

什么是正则表达式

正则表达式（Regular Expression，简称regex或regexp）是一种强大的文本处理工具，它由一系列的普通字符和特殊字符（元字符）构成，用于描述和匹配字符串的特定模式。正则表达式提供了一种灵活且强大的方式来查找、替换、验证和提取文本数据。

在正则表达式中，普通字符可以直接表示该字符本身，而特殊字符则具有特殊的含义，例如：

1. “.” 表示任意单个字符（除了换行符）；
2. “*” 表示前面的字符可以出现零次或多次；
3. “+” 表示前面的字符至少出现一次；
4. “?” 表示前面的字符出现零次或一次；
5. "{“n,m}” 表示前面的字符出现至少n次，至多m次；
6. “[]” 表示字符集合，如[abc]表示a或b或c；
7. “^” 表示匹配字符串的开始位置；
8. “$” 表示匹配字符串的结束位置；
9. “|” 表示或，用于表示两个正则表达式中的一个；
10. “\d” 表示任意数字，等同于[0-9]；
11. “\w” 表示任意字母、数字或下划线，等同于[A-Za-z0-9_]；
12. “\s” 表示空白字符，包括空格、制表符、换行符等。

正则表达式还支持分组、选择、引用等功能，可以通过圆括号"()“进行分组，通过竖线”|“进行选择，通过反斜杠加数字”\1"、"\2"等引用前面定义的组。

正则表达式可以应用于各种编程语言和文本处理工具中，如JavaScript、Python、Java、Perl等。在这些语言中，都提供了相应的函数或方法来使用正则表达式进行字符串的模式匹配和搜索。

为什么使用正则表达式？

正则表达式提供了一种强大的、灵活的方式来处理字符串。典型的搜索和替换操作通常要求提供与预期的搜索结果完全匹配的确切文本，这种方法对于简单的静态文本搜索和替换可能足够，但在处理动态文本时会变得困难。而使用正则表达式可以克服这些限制。

以下是使用正则表达式的一些关键用途：

1. 测试字符串内的模式：正则表达式可以用来验证输入字符串是否符合特定的模式，例如检测字符串中是否包含电话号码或信用卡号码的模式。

2. 替换文本：通过正则表达式，我们可以识别并替换文档中的特定文本。这包括删除不需要的文本或将其替换为其他内容。

3. 提取子字符串：正则表达式可以从字符串中提取符合特定模式的子字符串，这对于搜索和解析文本特别有用。

以网站更新为例，可能需要删除过时的材料并替换某些HTML格式标记。首先，可以使用正则表达式来确定哪些文件包含需要更改的内容。然后，利用正则表达式删除过时的材料，并搜索及替换特定的HTML标记。

正则表达式在网络爬虫中的重要性

正则表达式在网络爬虫中具有重要的作用。网络爬虫是一种自动从互联网上抓取和提取信息的程序，而正则表达式可以用于匹配和提取网页中的特定内容。

在网络爬虫中，正则表达式可以用来进行以下操作：

1. 提取链接：通过匹配HTML代码中的链接标签（如<a>），可以提取出网页中的链接地址。
2. 提取文本：通过匹配特定的文本模式，可以从网页中提取出需要的信息。
3. 过滤数据：通过匹配特定的模式，可以过滤掉不需要的数据，只保留符合条件的数据。
4. 验证输入：通过匹配特定的模式，可以验证用户输入是否符合预期的格式。

下面是一个示例代码，演示了如何使用Python中的re模块来使用正则表达式进行网络爬虫的操作：

import re
import requests

# 发送HTTP请求获取网页内容
url = "https://example.com"
response = requests.get(url)
html_content = response.text

# 使用正则表达式提取链接
link_pattern = r'<a\s+href=[\'"]?([^\'" >]+)'
links = re.findall(link_pattern, html_content)
print("提取到的链接：")
for link in links:
    print(link)

# 使用正则表达式提取文本
text_pattern = r'<p>(.*?)</p>'
paragraphs = re.findall(text_pattern, html_content)
print("\n提取到的段落：")
for paragraph in paragraphs:
    print(paragraph)

# 使用正则表达式过滤数据
filtered_data = re.sub(r'<script.*?>.*?</script>', '', html_content)
print("\n过滤后的网页内容：")
print(filtered_data)

正则表达式的模式

正则表达式的模式可以包括以下内容：

1. 字面值字符：例如字母、数字、空格等，可以直接匹配它们自身。
2. 特殊字符：例如点号 .、星号 *、加号 +、问号 ? 等，它们具有特殊的含义和功能。
3. 字符类：用方括号 [ ] 包围的字符集合，用于匹配方括号内的任意一个字符。
4. 元字符：例如 \d、\w、\s 等，用于匹配特定类型的字符，如数字、字母、空白字符等。
5. 量词：例如 {n}、{n,}、{n,m} 等，用于指定匹配的次数或范围。
6. 边界符号：例如 ^、$、\b、\B 等，用于匹配字符串的开头、结尾或单词边界位置。

下面是一些示例代码，演示了如何使用正则表达式进行模式匹配：

import re

# 字面值字符匹配
pattern = r'abc'
text = 'abcdefg'
matches = re.findall(pattern, text)
print("匹配结果：", matches)

# 特殊字符匹配
pattern = r'a.c'
text = 'abc adc axc'
matches = re.findall(pattern, text)
print("匹配结果：", matches)

# 字符类匹配
pattern = r'[abc]'
text = 'abcdefg'
matches = re.findall(pattern, text)
print("匹配结果：", matches)

# 元字符匹配
pattern = r'\d+'
text = 'abc123def456'
matches = re.findall(pattern, text)
print("匹配结果：", matches)

# 量词匹配
pattern = r'a{2,3}'
text = 'aa aaaa aaaaa'
matches = re.findall(pattern, text)
print("匹配结果：", matches)

# 边界符号匹配
pattern = r'^\d+'
text = '123abc'
matches = re.findall(pattern, text)
print("匹配结果：", matches)