数据解析：正则表达式，Python中使用正则 模块和常用的方法

按照一定的规则，从某个字符串中匹配出想要的数据，这个规则就是正则表达式，正则表达式是匹配文本最快、最精准的一种方式，但是相对比较难，每一种编程语言都支持正则表达式，其匹配规则都是通用的

常用匹配规则

import re   # 导入re模块

匹配某个字符串

text = 'hello'
ret = re.match('he',text)
# re.match是Python使用正则的一个方法，第一个参数是正则表达式，第二个是要匹配的字符串，除了re.match还有其他几个方法，后面会详细讲解各自的使用
print(ret.group())   # 便可以在hello中，匹配出he

匹配任意的字符：.

text = "abc"
ret = re.match('.',text)
print(ret.group())  # a

注意：. 匹配不到换行符

匹配任意的数字：\d

text = "123"
ret = re.match('\d',text)
print(ret.group())   # 1

匹配任意的非数字：\D

text = "t"
ret = re.match('\D',text)
print(ret.group())   # t  如果text是一个数字，就匹配不成功了

匹配空白字符(包括：\n，\t，\r和空格)：\s

text = "\t"
ret = re.match('\s',text)
print(ret.group())   # 空白

匹配a-z、A-Z、数字、下划线：\w

text = "_"
ret = re.match('\w',text)
print(ret.group())  # _

匹配非a-z、A-Z、数字、下划线(和\w相反)：\W

text = "+"
ret = re.match('\W',text)
print(ret.group())

组合的方式，只要满足中括号中的某一项都算匹配成功：[ ]

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())   # 0731-88888888

\d：[0-9]
\D：[^0-9]
\w：[0-9a-zA-Z_]
\W：[^0-9a-zA-Z_]

匹配多个字符(量词)

*：匹配0个或者任意多个字符

text = "0731"
ret = re.match('\d*',text)
print(ret.group())  # 0731
# 因为匹配的是\d(匹配数字)，后面跟了一个星号，就可以匹配到0731这四个字符

?：匹配的字符可以出现一次或者不出现（0或者1）

text = "123"
ret = re.match('\d?',text)
print(ret.group())   # 1

+：匹配1个或者多个字符，最少一个

text = "abc"
ret = re.match('\w+',text)
print(ret.group())  # abc
# 因为匹配的是\w，后面跟了一个加号，意味着最少要有一个满足\w的字符才能够匹配到

# 如果text是一个空白字符或者是一个不满足\w的字符，就会报错
text = ""   # + 最少一个
ret = re.match('\w+',text)
print(ret.group())
# AttributeError: 'NoneType' object has no attribute 'group'

{m}：匹配m个字符

text = "123"
ret = re.match('\d{2}',text)
print(ret.group())   # 12

{m,n}：匹配m-n个字符，在这中间的字符都可以匹配到

text = "123"
ret = re.match('\d{1,2}',text)
prit(ret.group())  # 12

# text只有一个字符，也可以匹配出来
text = "1"
ret = re.match('\d{1,2}',text)
prit(ret.group())  # 1

^（脱字号）：表示以…开始

^ 在中括号中，代表的是取反操作

text = "hello"
ret = re.match('^h',text)  # match写不写^ 默认都是匹配开头第一个，之后会讲到
print(ret.group())  # 如果开头不是h的话，就匹配不到

$：表示以…结束

# 匹配163.com的邮箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)  # search也是匹配正则的一个方法，后面会讲到
print(ret.group())

|：匹配多个表达式或者字符串

text = "000hellolalalworld"
ret = re.search('hello|world',text)  # search不是从第一个开始匹配
print(ret.group())

text = 'http://www.123.com'
ret = re.match('(http|https|ftp)', text)
print(ret.group())

贪婪模式和非贪婪模式

贪婪模式：正则表达式会匹配尽量多的字符，默认是贪婪模式
非贪婪模式：正则表达式会尽量少的匹配字符，加个?

text = "0123456"
ret = re.match('\d+', text)
print(ret.group())
# 因为默认采用贪婪模式，匹配最大范围，所以会输出0123456

ret = re.match('\d+?', text)
print(ret.group())   # 加?，改成非贪婪模式，就只会匹配到0

text = '<h1>标题</h1>'
ret = re.match('<.+>', text)
print(ret.group())
ret = re.match('<.+?>', text)
print(ret.group())

小案例

匹配手机号码：

'1[345789]\d{9}'   # 1开头，第二位可以是345789，后面9位数字任意

匹配邮箱：

'\w+@\w+\.[a-zA-Z\.]+'   # 数字字母下划线  @符号  域名

匹配URL：

'http|https|ftp)://[^\s]+'

匹配身份证：

'\d{17}[\dxX]'

匹配1-100之间的数字：

'[1-9]?\d$|100$'

'0$|[1-9]\d?$|100$'   # 以0结尾或者1-9数字后面跟一个任意0-9数字并以它结尾或者是以为100结尾

转义字符

在正则表达式中，有些字符是有特殊意义的字符，因此如果想要匹配这些字符，就必须使用反斜杠进行转义。比如 $ 代表的是以…结尾，如果想要匹配 $ ，就必须加个\

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())  # $99

原始字符串

在正则表达式中，\是专门用来做转义的，理论上匹配\，需要用两个\

但是在Python中\也是用来做转义的，因此如果想要在普通的字符串中匹配出\，就需要用四个\

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

在前面加个r就可以解决这个问题，这样就只需要两个\了

r是告诉Python这是原始字符串，引号里面是什么就是什么

简单理解就是需要转义两次，Python需要转义、正则表达式也需要转义

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

text = '\\n'                    # 要匹配的是字符串：'\n'
ret = re.match('\\\\n', text)   # 前面\\表示\    后面\\n表示'\n'
print(ret.group())

# 一般用原始字符串r就不用这么麻烦了
ret = re.match(r'\\n', text)
print(ret.group())              # 结果\n

re模块常用函数

compile

对于一些经常要用到的正则表达式，可以使用compile进行编译，后期再使用的时候可以直接拿过来用，执行效率会更快

compile还可以指定flag=re.VERBOSE，在写正则表达式的时候可以做好注释

text = "the number is 20.50"

r = re.compile('\d+\.?\d+')
ret = re.search(r, text)

r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)  # re.VERBOSE 分行注释
ret = re.search(r,text)

findall

找出所有满足条件的，返回的是一个列表

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)   # ['99', '88']

match

从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了

text = 'hello'
ret = re.match('h',text)
print(ret.group())   # 如果第一个字母不是h，就会失败

如果想要匹配换行的数据，传入一个flag=re.DOTALL，就可以匹配换行符了

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

search

在字符串中找满足条件的字符，如果找到，就返回(只会找到第一个满足条件的)

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())  # 99

分组

在正则表达式中，可以对过滤到的字符串进行分组，使用圆括号的方式，圆括号里的称之为子表达式

group：和group(0)是等价的，返回的是整个满足条件的字符串
groups：返回的是里面的子组。索引从1开始
group(1)：返回的是第一个子组，可以传入多个

text = 'apple\'s price $99, orange\'s price is $10, huawei\' price is $250'
ret = re.search('.*(\$\d+).*(\$\d+).*(\$\d+)', text)
print(ret.group())
# 0或留空返回整个apple's price $99, orange's price is $10, huawei' price is $250
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.group(1, 2))  # ('$99', '$10')
print(ret.groups())  # ('$99', '$10', '$250')  相当于ret.group(1, 2, ...)

sub

用来替换字符串，将匹配到的字符串替换为其他字符串

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)  # apple price $0 orange price $0


html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；</p>
<p>2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；</p>
<p>3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；</p>
<p>2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>3、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""
ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

split

Python字符串自身也有个split方法，分割字符串

re模块中的split，可以使用正则表达式来分割字符串

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)   # ["hello","world","ni","hao"]