正则表达式—python、hive函数

正则表达式是一个特殊的字符序列，用来查找匹配复杂规则的字符串。

python 中用re 模块实现正则表达式；hive 中提供了regexp 等函数实现正则表达式的功能。

本文将对正则表达式的模式pattern，可选标志位flags，以及python、hive中的相关函数进行讲解。

1、正则表达式模式

符号	解释	示例	说明
.	匹配除\n外的任何单个字符	b.t	可以匹配bat / but / b#t / b1t等
\w	匹配字母/数字/下划线	b\wt	可以匹配bat / b1t / b_t等,但不能匹配b#t
\W	匹配非字母/数字/下划线	b\Wt	可以匹配b#t / b@t等，但不能匹配but / b1t / b_t等
\s	匹配空白字符（包括\r、\n、\t等）	love\syou	可以匹配love you
\S	匹配非空白字符	love\Syou	可以匹配love#you等,但不能匹配love you
\d	匹配数字	\d\d	可以匹配01 / 23 / 99等
\D	匹配非数字	\d\D	可以匹配9a / 3# / 0F等
\b	匹配一个单词边界	er\b	可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’
\B	匹配非单词边界	er\B	可以匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’
^	匹配字符串的开始	^The	可以匹配The开头的字符串
$	匹配字符串的结束	.exe$	可以匹配.exe结尾的字符串
[]	匹配来自字符集的任意单一字符	[aeiou]	可以匹配任一元音字母字符
[^]	匹配不在字符集中的任意单一字符	[^aeiou]	可以匹配任一非元音字母字符
*	匹配0次或多次	\w*
+	匹配1次或多次	\w+
?	匹配0次或1次	\w?
{N}	匹配N次	\w{3}
{M,}	匹配至少M次	\w{3,}
{M,N}	匹配至少M次至多N次	\w{3,6}
\num	匹配第num个分组的内容	(html)(/\1)	可以匹配(html)(/html)，不能匹配(html)(/htmlaa)
a|b	匹配a或b
(?#)	注释，可以放在正则表达式的任意位置
(exp)	匹配exp并捕获到自动命名的组中
(?exp)	匹配exp并捕获到名为name的组中
(?:exp)	匹配exp但是不捕获匹配的文本
(?=exp)	匹配exp前面的位置	\b\w+(?=ing)	可以匹配I’m dancing中的danc
(?<=exp)	匹配exp后面的位置	(?<=\bdanc)\w+\b	可以匹配I love dancing and reading中的第一个ing
(?!exp)	匹配后面不是exp的位置
(?<!exp)	匹配前面不是exp的位置
*?	重复任意次，但尽可能少重复	a.*b；a.*?b	将正则表达式应用于aabab，前者会匹配整个字符串aabab，后者会匹配aab和ab两个字符串
+?	重复1次或多次，但尽可能少重复
??	重复0次或1次，但尽可能少重复
{M,N}?	重复M到N次，但尽可能少重复
{M,}?	重复M次以上，但尽可能少重复

2、正则表达式可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。
多个标志可以通过按位" | "来指定。如 re.I | re.M :

标志位	描述
re.I	忽略大小写
re.L	做本地化识别（locale-aware）匹配
re.M	多行匹配，影响 ^ 和 $
re.S	使 . 匹配包括换行在内的所有字符
re.X	为了增加可读性，忽略空格和 # 后面的注释

3、python 函数

python 提供了re模块来支持正则表达式相关操作，首先要导入re 模块

import re

re.compile(pattern, flags=0)

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search()这两个函数使用。

prog = re.compile(pattern)
result = prog.match(string)
等价于
result = re.match(pattern, string)

re.match(pattern, string, flags=0)

尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match() 就返回 none。

import re

print(re.match('www', 'www.runoob.com'))  # 在起始位置匹配
print(re.match('com', 'www.runoob.com'))  # 不在起始位置匹配
print(re.search('www', 'www.runoob.com'))
print(re.search('com', 'www.runoob.com'))

<re.Match object; span=(0, 3), match='www'>
None
<re.Match object; span=(0, 3), match='www'>
<re.Match object; span=(11, 14), match='com'>

可以使用 group(num) 或 groups() 匹配对象函数来获取匹配表达式。

• group(num=0) 匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
• groups() 返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

line = "Cats are smarter than dogs";
 
test_group = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
print(test_group.groups())
print(test_group.group())
print(test_group.group(1))
print(test_group.group(2))

('Cats', 'smarter')
Cats are smarter than dogs
Cats
smarter

re.search(pattern, string, flags=0)

同match 一样，但扫描整个字符串并返回第一个成功的匹配。

re.split(pattern, string, maxsplit=0, flags=0)

根据匹配进⾏切割字符串，并返回⼀个列表。
maxsplit：分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数

re.split(' ', 'hello world') 

['hello', 'world']

re.sub(pattern, repl, string, count=0, flags=0)

替换字符串中的匹配项
repl：替换的字符串，也可为一个函数。
count：模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。

phone = "2004-959-559 # 这是一个国外电话号码"
 
# 删除字符串中的 Python注释 
num = re.sub(r'#.*$', "", phone)
print(num)
 
# 删除非数字的字符串 
num = re.sub(r'\D', "", phone)
print(num)

2004-959-559 
2004959559

re.subn(pattern, repl, string, count=0, flags=0)

与sub()相同，但是返回一个元组 (字符串, 替换次数)

phone = "2004-959-559 # 这是一个国外电话号码"
 
num = re.subn(r'\D', "", phone)
print(num)

('2004959559', 15)

re.findall(pattern, string, flags=0)

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
注：match 和 search 是匹配一次findall 匹配所有。

print(re.findall(r"\d+", "python = 9999, c = 7890, c++ = 12345"))
print(re.search(r"\d+", "python = 9999, c = 7890, c++ = 12345").group())

['9999', '7890', '12345']
9999

re.finditer(pattern, string, flags=0)

和findall 类似，在字符串中匹配所有满足正则表达式的字符串，但finditer 把它们作为一个迭代器返回。

it = re.finditer(r"\d+", "python = 9999, c = 7890, c++ = 12345")
for i in it:
    print(i.group())

9999
7890
12345

4、hive 函数

注：hive 使用正则表达式需使用两个反斜杠 " \ " 转义

regexp

A REGEXP B
功能与RLIKE 相同

# email 不包含8个相同数字
select count(*) from emails where email not regexp '\\d{8}'

regexp_extract

regexp_extract(string subject, string pattern, int index)
将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。
index 默认为1；0表示把整个正则表达式对应的结果全部返回。

select regexp_extract('hiveregexp','(i)(.*?)(r)',0) ;
iver

select regexp_extract('hiveregexp','(i)(.*?)(r)',1) ;
i

select regexp_extract('hiveregexp','(i)(.*?)(r)',2) ;
ve

regexp_replace

regexp_replace(string A, string B, string C)
将字符串A中符合正则表达式B的部分替换为C。

select regexp_replace("Ilikehive","hive","");
Ilike

select regexp_replace("Ilikehive","hive","python");
Ilikepython