Python | 正则表达式

1 前言

正则表达式在实际的数据分析中用处还是蛮广泛的，经常用在特征提取上面，另外在爬虫中也经常会用到，详情见之前的博客：

• 爬虫 | 打印page_source+正则匹配
• 爬虫 | selenium动态爬取美团商家图片
• 机器学习|LDA主题模型

举例：

• 正则表达式就是从字符串中发现规律，并通过“抽象”的符号表达出来。
• 打个比方，对于2,5,10,17,26,37这样的数字序列，如何计算第7个值，肯定要先找该序列的规律，然后用n2+1这个表达式来描述其规律，进而得到第7个值为50。
• 对于需要匹配的字符串来说，同样把发现规律作为第一步，本文主要使用正则表达式完成字符串的查询匹配、替换匹配和分割匹配。

2 常用的正则符号

常见的正则符号见下表：

完整版的正则匹配符号见：正则匹配速查

3 Python实现

3.1 字符串的匹配查询

re模块中的findall函数可以对指定的字符串进行遍历匹配，获取字符串中所有匹配的子串，并返回一个列表结果。该函数的参数含义如下：

• findall(pattern, string, flags=0)
• pattern：指定需要匹配的正则表达式。
• string：指定待处理的字符串。
• flags：指定匹配模式，常用的值可以是re.I、re.M、re.S和re.X。re.I的模式是让正则表达式对大小写不敏感；re.M的模式是让正则表达式可以多行匹配；re.S的模式指明正则符号.可以匹配任意字符，包括换行符 ；re.X模式允许正则表达式可以写得更加详细，如多行表示、忽略空白字符、加入注释等。

# 导入用于正则表达式的re模块
import re

# 取出字符串string8中所有的天气状态
string8 = "{ymd:'2018-01-01',tianqi:'晴',aqiInfo:'轻度污染'},{ymd:'2018-01-02',tianqi:'阴~小雨',aqiInfo:'优'},{ymd:'2018-01-03',tianqi:'小雨~中雨',aqiInfo:'优'},{ymd:'2018-01-04',tianqi:'中雨~小雨',aqiInfo:'优'}"
# 基于正则表达式使用findall函数
print(re.findall("tianqi:'(.*?)'", string8))
print(re.findall("tianqi:'.*?'", string8))

['晴', '阴~小雨', '小雨~中雨', '中雨~小雨']
["tianqi:'晴'", "tianqi:'阴~小雨'", "tianqi:'小雨~中雨'", "tianqi:'中雨~小雨'"]

注：

• 通过正则表达式"tianqi:’(.*?)’"实现目标数据的获取，
• 如果不使用括号的话，就会产生类似"tianqi:‘晴’", "tianqi:‘阴~小雨’"这样的值，
• 所以，加上括号就是为了分组，且仅返回组中的内容；

# 取出string9中所有含O字母的单词
string9  = 'Together, we discovered that a free market only thrives when there are rules to ensure competition and fair play, Our celebration of initiative and enterprise'
# 基于正则表达式使用findall函数
print(re.findall('\w*o\w*',string9, flags = re.I))

['Together', 'discovered', 'only', 'to', 'competition', 'Our', 'celebration', 'of']

注：

• \w匹配字母数字和下划线！
• 字符o前面可以匹配字母数字和下划线0-多次，后面也可以匹配字母数字和下划线0-多次

3.2 字符串的匹配替换

re模块中的sub函数的功能是替换，类似于字符串的replace方法，该函数根据正则表达式把满足匹配的内容替换为repl。该函数的参数含义如下：

• sub(pattern, repl, string, count=0, flags=0)
• pattern：同findall函数中的pattern。
• repl：指定替换成的新值。
• string：同findall函数中的string。
• count：用于指定最多替换的次数，默认为全部替换。
• flags：同findall函数中的flags。

# 将string10中的标点符号、数字和字母删除
string10 = '据悉，这次发运的4台蒸汽冷凝罐属于国际热核聚变实验堆（ITER）项目的核二级压力设备，先后完成了压力试验、真空试验、氦气检漏试验、千斤顶试验、吊耳载荷试验、叠装试验等验收试验。'
# 基于正则表达式使用sub函数
print(re.sub('[，。、a-zA-Z0-9（）]','',string10))

据悉这次发运的台蒸汽冷凝罐属于国际热核聚变实验堆项目的核二级压力设备先后完成了压力试验真空试验氦气检漏试验千斤顶试验吊耳载荷试验叠装试验等验收试验

注：

• 将所有的标点符号换为空字符，进而实现删除的效果

3.3 字符串的匹配分割

re模块中的split函数是将字符串按照指定的正则表达式分隔开，类似于字符串的split方法。该函数的具体参数含义如下：

• split(pattern, string, maxsplit=0, flags=0)
• pattern：同findall函数中的pattern。
• maxsplit：用于指定最大分割次数，默认为全部分割。
• string：同findall函数中的string。
• flags：同findall函数中的flags。

# 将string11中的每个子部分内容分割开
string11 = '2室2厅 | 101.62平 | 低区/7层 | 朝南 上海未来 - 浦东 - 金杨 - 2005年建'
# 基于正则表达式使用split函数
split = re.split('[-|]', string11)
print(split)
# 分割结果的清洗
split_strip = [i.strip() for i in split] # 删去空格
print(split_strip)

['2室2厅 ', ' 101.62平 ', ' 低区/7层 ', ' 朝南 上海未来 ', ' 浦东 ', ' 金杨 ', ' 2005年建']
['2室2厅', '101.62平', '低区/7层', '朝南 上海未来', '浦东', '金杨', '2005年建']

4 参考

• https://mp.weixin.qq.com/s/xDVvszQjPIXTjkPiU8Y4gQ