python爬虫之re库

一、导入re库

python使用正则表达式要导入re库。

import re

在re库中。正则表达式通常被用来检索查找、替换那些符合某个模式(规则)的文本。

二、使用正则表达式步骤

1. 寻找规律；
2. 使用正则符号表示规律；
3. 提取信息，如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。

三、正则表达式中常见的基本符号

1. 点号"."
   一个点号可以代替除了换行符（\n）以外的任何一个字符，包括但不限于英文字母、数字、汉字、英文标点符号和中文标点符号。(但是加上re.S就可以匹配任意字符)

import re
#str是一个字符串，字符串换行时可以使用三引号(''')
str = '''hello	
zHeNghospital
world'''
#没有使用re.S,  .无法匹配到换行符
pattern1 = re.compile('hello(.*?)world')
#使用了re.S,  可以匹配到换行符
pattern2 = re.compile('hello(.*?)world',re.S)

res1 = re.findall(pattern1,str)
print(res1)

res2 = re.findall(pattern2,str)
print(res2)

#print结果
[]
['\nzHeNghospital\n']

2. 星号"*"

   一个星号可以表示它前面的一个子表达式（普通字符、另一个或几个正则表达式符号）0次到无限次。

3. 问号"?"

   问号表示它前面的子表达式0次或者1次。注意，这里的问号是英文问号。

4. 反斜杠""

   反斜杠在正则表达式里面不能单独使用，甚至在整个Python里都不能单独使用。反斜杠需要和其他的字符配合使用来把特殊符号变成普通符号，把普通符号变成特殊符号。如："\n"。

5. 数字"\d"

   正则表达式里面使用"\d"来表示一位数字。再次强调一下，"\d"虽然是由反斜杠和字母d构成的，但是要把"\d"看成一个正则表达式符号整体。

6. 小括号"()"
   小括号可以把括号里面的内容提取出来。

四、常见的正则表达式举例

1. .*?（匹配所有内容）

例如：’’ 将网页的标题爬取下来。

2. \w 单词字符[A-Za-z0-9_]， “+” 匹配前一个字符1次或无限次 例如：一个人的邮箱是这样的$lixiaomei@qq.com$，那么我们如何从一大堆的字符串把它提取出来呢？

#匹配模式pattern
pattern: \w+@\w+\.com

import re
str2 = "[email protected]"
#pattern字符串前加"r"，表示原生字符串
pattern = re.compile(r"\w+@\w+\.com")
r