正则表达式

正则表达式应用场景

• 判读一个字符串是否符合规则
• 取出制定数据
• 爬虫岗位较为核心的技术
• 彩票网站匹配彩票信息

正则表达式模块----re

只匹配一次

import re

str_data = 'hello, this is a good day'
result = re.search('h([a-zA-Z])s', str_data)
print(result.groups())

结果：('i',)
匹配多次

import re

str_data = '本期彩票结果是：10,20,1,5,7,21,12'
result = re.findall('(\d+,\d+,\d+,\d+,\d+,\d+,\d+)', str_data)
print(result)

结果：['10,20,1,5,7,21,12']

匹配字符串需要的条件：

• 正则表达式模块----re
• 匹配“针”的规则
• 取“针”的大海----字符串

示例

示例1：\d匹配了数字

import re

data = 'hello dewei you are 33 age old'
print(re.findall('\d', data))

结果：['3', '3']
示例2：\s匹配了空格

import re

data = 'hello dewei you are 33 age old'
print(re.findall('\s', data))

结果：[' ', ' ', ' ', ' ', ' ', ' ']
示例3：\w匹配字母、数字及下划线

import re

data = 'hello dewei you are 33 age old'
print(re.findall('\w', data))

结果：['h', 'e', 'l', 'l', 'o', 'd', 'e', 'w', 'e', 'i', 'y', 'o', 'u', 'a', 'r', 'e', '3', '3', 'a', 'g', 'e', 'o', 'l', 'd']
示例4：\A匹配字符串开头

import re

data = 'hello dewei you are 33 age old'
print(re.findall('\Ahello', data))

结果：['hello']
示例5：\A匹配字符串开头

import re

data = 'hello dewei you are 33 age old'
print(re.findall('\Ahellos', data))

结果：[]
示例6：\Z匹配字符串结尾

import re

data = 'hello dewei you are 33 age old'
print(re.findall('old\Z', data))

结果：['old']
示例7：\Z匹配字符串结尾

import re

data = 'hello dewei you are 33 age old'
print(re.findall('aold\Z', data))

结果：[]
示例8：|或的关系，只要存在就能捕获
匹配到的数据只按字符串顺序返回，而不是按照匹配规则返回。

import re

data = 'xiaoming@qq.com'
print(re.findall('xiaoming|com|qq', data))

结果：['xiaoming', 'qq', 'com']
示例9：^等同于\A

import re

data = 'xiaoming@qq.com'
print(re.findall('^xiaoming', data))

结果：[xiaoming]
示例10：$等同于\Z

import re

data = 'xiaoming@qq.com'
print(re.findall('com￥', data))

结果：[]
示例11：w*匹配0次或多次数字或字母

data = 'xiaoming@qq.com'
print(re.findall('\w*', data))

结果：['xiaoming','','qq','','com','']
示例12：w+匹配1次或多次数字或字母，@和0属于0次范围，不会被匹配出来。

import re

data = 'xiaoming@qq.com'
print(re.findall('\w+', data))

结果：['xiaoming', 'qq', 'com']
示例13：{N,M}给出匹配到的数据范围

import re

data = 'xiaoming@qq.com'
print(re.findall('\w{1,5}', data))

结果：['xiaoming', 'qq', 'com']
示例14：N和M中间逗号左右不能有空格

import re

data = 'xiaoming@qq.com'
print(re.findall('\w{1,5}', data))

结果：[]
示例15：字符集中^不再代表开始，而是过滤掉。

import re

data = 'xiaoming@qq.com'
print(re.findall('[^xiaoming]', data))

结果：['@','q','q','.','c','o','m']
示例：判断当前的URL是不是合法的。

import re

def check_url(url):
	result = re.findall('[a-zA-Z]{4,5}://\w*\.*\w+\.\w+', url)
	if result != 0:
		return True
	else:
		return False

def get_url(url):
	result = re.findall('https://(\w*\.*\w+\.\w+)', url)
	if len(result) != 0:
		return result[0]
	else:
		return ''

def get_email(data):
	result = re.findall('[0-9a-zA-Z_]+@[0-9a-zA-Z]+\.[a-zA-Z]+', data)
	return result

组的概念

()：在匹配规则中只要指定的数据
示例：

import re

data = 'hello my name is xiaoming'
result = re.search('hello (.*) name is (.*)')
print(result.groups())

结果：['my','xiaoming']

print(result.group(1))

结果：['my']

print(result.group(2))

结果：['xiaoming']

贪婪与非贪婪

0次或多次属于贪婪模式
通过？组合变成非贪婪模式

findall()的使用

findall(pattern, string[, flags])

[, flags]选填
查找字符串中所有（非重复）出现的正则表达式模式，并返回一个匹配列表

search的使用

search(pattern, string, flags=0)

使用可选标记搜索字符串中第一次出现的正则表达式模式。如果匹配成功，则返回匹配对象；如果失败，则返回None。

group()和groups()

group(num)返回整个匹配对象，或者编号为num的特定子组。
groups()返回一个包含所有包含匹配子组的元组。如果没有匹配成功，则返回一个空元组。

split()正则替换

split(pattern, string, max=0)

根据正则表达式的模式分隔符，split函数将字符串分割为列表，然后返回成功匹配的列表，分隔最多操作max次（默认分割所有匹配成功的位置）。
示例：

data = 'hello world'
print(re.split('\W', data))

结果：['hello','world']

re模块----match

match(pattern, string, flags=0)

尝试使用带有可选的标记的正则表达式的模式来匹配字符串。如果匹配成功，则返回匹配对象。如果失败，则返回None。
示例：

data = 'hello world'
result = re.match('hello', data)
print(result.group())

结果：'hello'

re模块----compile

compile(pattern, flags=0)

定义一个匹配规则的对象。
示例：

data = 'hello my email is xiaoming@qq.com i like python'
re_obj = re.compile('email is (.*?) i')
result = re_obj.findall(data)
print(result)

结果：['xiaoming@qq.com']

public class Eval { // 新建类
	public static void main(String[] args) { // 主方法
		String regex = "1[35]\\d{9}";
		String text = "15000000000";
		if (text.matches(regex)) {
			System.out.println(text + "是合法的手机号");
		}
	}
}

结果：15000000000是合法的手机号

Python中常见的正则匹配符

1.正则表达式模式

如果要在正则表达式中使用点字符“ . ”，使用转义字符“ \ ”

模式	描述
^	匹配字符串的开头
&	匹配字符串的末尾
.	匹配任意字符，除了换行符
[...]	用来表示一组字符，单独列出：[amk]匹配'a','m'或'k'
[^...]	不在[]中的字符，[^abc]匹配除了abc以外的字符
re*	匹配0个或多个表达式
re+	匹配1个或多个表达式
re?	匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
re{ n}	匹配n个前面表达式
re{ n,}	精确匹配n个前面表达式
re{ n,m}	匹配n到m次由前面的正则表达式定义的片段，贪婪方式
a|b	匹配a或b
\w	匹配字母数字及下划线
\W	匹配非字母数字及下划线
\d	匹配任意数字，等价于[0-9]
\D	匹配任意非数字
\s	匹配任意空白字符，等价于[\t\n\r\f]
\S	匹配任意非空字符
\A	匹配字符串的起始
\Z	匹配字符串的结束
[0-9]	匹配任何数字，类似于[1234567890]
[a-z]	匹配任何小写字母
[A-Z]	匹配任何大写字母
[a-zA-Z0-9]	匹配任何字母及数字
[^0-9]	匹配除了数字外的字符
\	将特殊字符无效化

2.正则表达式修饰符

修饰符	描述
re.l	使匹配对大小写不敏感
re.L	做本地化识别(locale-aware)匹配
re.M	多行匹配，影响^和￥
re.S	使.匹配包括换行符在内的所有字符
re.U	根据Unicode字符集解析字符，影响\w,\W,\b,\B
re.X	该标志通过给予更灵活的格式以便将正则表达式写的更易于理解

常见的正则表达式

校验数字的表达式

1、数字：^[0-9]*$
2、n位的数字：^\d{n}$
3、至少n位的数字：^\d{n,}$
4、m-n位的数字：^\d{m,n}$
5、零和非零开头的数字：^(0|[1-9][0-9]*)$
6、非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$
7、带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$
8、正数、负数、和小数：^(\-|\+)?\d+(\.\d+)?$
9、有两位小数的正实数：^[0-9]+(.[0-9]{2})?$
10、有1~3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$
11、非零的正整数：^[1-9]\d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$
12、非零的负整数：^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$
13、非负整数：^\d+$ 或 ^[1-9]\d*|0$
14、非正整数：^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$
15、非负浮点数：^\d+(\.\d+)?$ 或 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
16、非正浮点数：^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
17、正浮点数：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
18、负浮点数：^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
19、浮点数：^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$

校验字符的表达式

1、汉字：^[\u4e00-\u9fa5]{0,}$
2、英文和数字：^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
3、长度为3-20的所有字符：^.{3,20}$
3、由26个英文字母组成的字符串：^[A-Za-z]+$
5、由26个大写英文字母组成的字符串：^[A-Z]+$
6、由26个小写英文字母组成的字符串：^[a-z]+$
7、由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$
8、由数字、26个英文字母或者下划线组成的字符串：^\w+$ 或 ^\w{3,20}$
9、中文、英文、数字包括下划线：^[\u4E00-\u9FA5A-Za-z0-9_]+$
10、中文、英文、数字但不包括下划线等符号：^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$
11、可以输入含有^%&',;=?$\"等字符：[^%&',;=?$\x22]+
12、禁止输入含有~的字符：[^~\x22]+

特殊需求表达式

1、Email地址：^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
2、域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
3、 InternetURL：[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$
4、手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
5、电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$
6、国内电话号码(0511-4405222、021-87888822)：\d{3}-\d{8}|\d{4}-\d{7}
7、身份证号(15位、18位数字)：^\d{15}|\d{18}$
8、短身份证号码(数字、字母x结尾)：^([0-9]){7,18}(x|X)?$ 或 ^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$
9、帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
10、密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：^[a-zA-Z]\w{5,17}$
11、强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间)：^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
12、日期格式：^\d{4}-\d{1,2}-\d{1,2}
13、一年的12个月(01～09和1～12)：^(0?[1-9]|1[0-2])$
14 、一个月的31天(01～09和1～31)：^((0?[1-9])|((1|2)[0-9])|30|31)$
15、钱的输入格式：
* 有四种钱的表示形式我们可以接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000"：^[1-9][0-9]*$
* 这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式：^(0|[1-9][0-9]*)$
* 一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号：^(0|-?[1-9][0-9]*)$
* 这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分：^[0-9]+(.[0-9]+)?$
* 5.必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的：^[0-9]+(.[0-9]{2})?$
* 6.这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：^[0-9]+(.[0-9]{1,2})?$
* 这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
* 1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须：^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
* 备注：这就是最终结果了,别忘了"+"可以用"*"替代如果你觉得空字符串也可
* 以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里
16、xml文件：^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$
17、中文字符的正则表达式：[\u4e00-\u9fa5]
18、双字节字符：[^\x00-\xff] (包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))
19、空白行的正则表达式：\n\s*\r (可以用来删除空白行)
20、HTML标记的正则表达式：<(\S*?)[^>]*>.*?</\1>|<.*? /> (网上流传的版本太糟糕，上面这个也仅仅能部分，对于复杂的嵌套标记依旧无能为力)
21、首尾空白字符的正则表达式：^\s*|\s*$或(^\s*)|(\s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式)
22、 腾讯QQ号：[1-9][0-9]{4,} (腾讯QQ号从10000开始)
23、中国邮政编码：[1-9]\d{5}(?!\d) (中国邮政编码为6位数字)
24、IP地址：\d+\.\d+\.\d+\.\d+ (提取IP地址时有用)
25、 IP地址：((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))