【python自然语言处理】正则表达式
前言
正则表达式主要用于字符串的模式匹配,或者是字符的匹配。正则表达式还可以将一些非结构化的文档内容转化为结构化。另外一个作用是去除噪声,可以将无关的文本内容去除掉。
一、匹配字符串
符号 | 含义 | 例子 |
---|---|---|
. | 匹配任意一个字符 | .代表任意字符 |
^ | 匹配开始的字符串 | ^a 代表的是匹配所有以字母a开头的字符串 |
$ | 匹配结尾的字符串 | a$ 代表的是所有以字母a结尾的字符串 |
[] | 匹配多个字符 | [bcr]at 代表的是bat,cat,rat |
例子:
import re
# ^a 代表的是匹配所有以字母a开头的字符串
# a$ 代表的是所有以字母a结尾的字符串
text_string= "这些方法实现了 string 模块的大部分方法,如下表所示列出了目前字符串内建支持的方法,所有的方法都包含了对 Unicode 的支持,有一些甚至是专门用于 Unicode 的"
regex= '^所有'
regex2= '方法$'
p_string=text_string.split(',')
for line in p_string:
if re.search(regex,line) is not None:
print(line)
for line in p_string:
if re.search(regex2,line) is not None:
print(line)```
输出结果:
所有的方法都包含了对 Unicode 的支持
这些方法实现了 string 模块的大部分方法
如下表所示列出了目前字符串内建支持的方法
例子:
# [] 匹配多个字符,[bcr]at 代表的是bat,cat,rat
# .代表任意字符
import re
text_string= ['[重要的]今年第七号台风23日登陆沿海','上海发布车库销售通知:违规者暂停网签资格','[紧要的]今日房价大促销']
regex='^\[[重紧]..\]'
for line in text_string:
if re.search(regex,line) is not None:
print(line)
else:
print('not match')
结果:
[重要的]今年第七号台风23日登陆沿海
not match
[紧要的]今日房价大促销
二、使用转义字符
上面的例子中[]是特殊字符,需要转义字符,下面再看一个例子:
# 转义字符转义反斜杠\
import re
if re.search("\\\\","you you have a house\demo") is not None:
# 前两个和后两个分别用于在编程语言里转义成反斜杠,转换成两个反斜杠后再在正则表达式里转义成一个反斜杠
print("march it")
else:
print("not match")
运行结果:
march it
前两个和后两个分别用于在编程语言里转义成反斜杠,转换成两个反斜杠后再在正则表达式里转义成一个反斜杠.
另外可以通过r来简化写法:
# 使用r转义反斜杠\,匹配一个反斜杠r"\\",匹配一个数字"\\d"写成r"\d"
import re
if re.search(r"\\","you you have a house\demo") is not None:
print("match it")
else:
print("not match")
运行结果:
['War of 1945']
['War of 1945']
['War of 1945', 'Happy New Year to 2023']
使用r转义反斜杠\,匹配一个反斜杠r"\“,匹配一个数字”\d"写成r"\d"
三、抽取文本中的数字
1,通过正则表达式匹配年份
- [0-9]:代表的是0到9的所有数字
- {3}代表的是重复之前的[0-9]三次,是[0-9][0-9][0-9]的简写
例子:
# 通过正则表达匹配年份
import re
year_strings=[]
text_string = ['War of 1945','There are 6570 apples','Happy New Year to 2023']
for string in text_string:
if re.search('[1-2][0-9]{3}',string):
# [1-2]:代表的是0到9的所有数字
# [0-9]:代表0到9的所有数字
# {3}代表的是重复之前的[0-9]三次,是[0-9][0-9][0-9]的简写
year_strings.append(string)
print(year_strings)
运行结果:
['War of 1945']
['War of 1945']
['War of 1945', 'Happy New Year to 2023']
2,抽取年份
我们使用re模块的另一个方法findall()来返回匹配带正则表达式的那部分字符串。
# re.findall返回匹配带正则表达式的那部分字符串
import re
text_string = ['War of 1945','There are 6570 apples','Happy New Year to 2023']
years=[]
for string in text_string:
year= re.findall('[1-2][0-9]{3}',string);
years.append(year)
print(years)
运行结果:
[['1945'], [], ['2023']]
总结
- 我们可以使用
re.search(regex,string)
这个方法,检查string字符串是否匹配正则表达式regex,如果匹配到,会返回一个match对象,如果匹配不到,会返回一个None。 - 转义字符转义字符特殊字符时,可以使用r,能使得代码更简洁,并且不会少写反斜杠
re.findall()
返回匹配正则表示的那部分字符串