【python自然语言处理】正则表达式

【python自然语言处理】正则表达式

---

---

前言

正则表达式主要用于字符串的模式匹配，或者是字符的匹配。正则表达式还可以将一些非结构化的文档内容转化为结构化。另外一个作用是去除噪声，可以将无关的文本内容去除掉。

---

一、匹配字符串

符号	含义	例子
.	匹配任意一个字符	.代表任意字符
^	匹配开始的字符串	^a 代表的是匹配所有以字母a开头的字符串
$	匹配结尾的字符串	a$ 代表的是所有以字母a结尾的字符串
[]	匹配多个字符	[bcr]at 代表的是bat,cat,rat

例子：

import re
# ^a 代表的是匹配所有以字母a开头的字符串
# a$ 代表的是所有以字母a结尾的字符串
text_string= "这些方法实现了 string 模块的大部分方法，如下表所示列出了目前字符串内建支持的方法，所有的方法都包含了对 Unicode 的支持，有一些甚至是专门用于 Unicode 的"
regex= '^所有'
regex2= '方法$'
p_string=text_string.split('，')
for line in p_string:
    if re.search(regex,line) is not None:
        print(line)
for line in p_string:
    if re.search(regex2,line) is not None:
        print(line)```

输出结果：

所有的方法都包含了对 Unicode 的支持
这些方法实现了 string 模块的大部分方法
如下表所示列出了目前字符串内建支持的方法

例子：

# [] 匹配多个字符，[bcr]at 代表的是bat,cat,rat
# .代表任意字符
import re
text_string= ['[重要的]今年第七号台风23日登陆沿海','上海发布车库销售通知：违规者暂停网签资格','[紧要的]今日房价大促销']
regex='^\[[重紧]..\]'
for line in text_string:
    if re.search(regex,line) is not None:
        print(line)
    else:
        print('not match')

结果：

[重要的]今年第七号台风23日登陆沿海
not match
[紧要的]今日房价大促销

二、使用转义字符

上面的例子中[]是特殊字符，需要转义字符，下面再看一个例子：

# 转义字符转义反斜杠\
import re
if re.search("\\\\","you you have a house\demo") is not None:
#  前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠
    print("march it")
else:
    print("not match")

运行结果：

march it

前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠.
另外可以通过r来简化写法：

# 使用r转义反斜杠\，匹配一个反斜杠r"\\"，匹配一个数字"\\d"写成r"\d"
import re
if re.search(r"\\","you you have a house\demo") is not None:
    print("match it")
else:
    print("not match")

运行结果：

['War of 1945']
['War of 1945']
['War of 1945', 'Happy New Year to 2023']

使用r转义反斜杠\，匹配一个反斜杠r"\“，匹配一个数字”\d"写成r"\d"

三、抽取文本中的数字

1,通过正则表达式匹配年份

• [0-9]:代表的是0到9的所有数字
• {3}代表的是重复之前的[0-9]三次，是[0-9][0-9][0-9]的简写

例子：

# 通过正则表达匹配年份
import re
year_strings=[]
text_string = ['War of 1945','There are 6570 apples','Happy New Year to 2023']
for string in text_string:
    if re.search('[1-2][0-9]{3}',string):
# [1-2]:代表的是0到9的所有数字
# [0-9]:代表0到9的所有数字
# {3}代表的是重复之前的[0-9]三次，是[0-9][0-9][0-9]的简写
        year_strings.append(string)
    print(year_strings)

运行结果：

['War of 1945']
['War of 1945']
['War of 1945', 'Happy New Year to 2023']

2,抽取年份

我们使用re模块的另一个方法findall（）来返回匹配带正则表达式的那部分字符串。

# re.findall返回匹配带正则表达式的那部分字符串
import re
text_string = ['War of 1945','There are 6570 apples','Happy New Year to 2023']
years=[]
for string in text_string:
    year= re.findall('[1-2][0-9]{3}',string);
    years.append(year)
print(years)

运行结果：

[['1945'], [], ['2023']]

总结

• 我们可以使用re.search(regex,string)这个方法，检查string字符串是否匹配正则表达式regex，如果匹配到，会返回一个match对象，如果匹配不到，会返回一个None。
• 转义字符转义字符特殊字符时，可以使用r，能使得代码更简洁，并且不会少写反斜杠
• re.findall()返回匹配正则表示的那部分字符串