python的re模块(regular expression 正则表达式)提供各种正则表达式的匹配操作。在文本解析、复杂字符串分析和信息提取时是非常有用的工具,下面是re的常用方法
爬虫程序抓取到信息后,需要对信息进行处理,re模块提供的正则表达式对于信息处理非常有用。
1.引入re模块
import re
#查看re模块功能信息(其他模块也可以如此)
print re.__doc__
2.re的正则表达式语法,如下表
正则表达式特殊序列表
3.re的主要功能函数
常用的功能函数包括:re.compile()、re.search()、re.match()、re.split()、re.findall()/finditer()、re.sub()/subn()
re.compile(pattern[,flags])
作用:把正则表达式语法转化成正则表达式对象
flags定义包括:
re.I:忽略大小写
re.L:表示特殊字符集\w、\W、\b、\B、\s、\S依赖于当前环境
re.M:多行模式
re.S:' .'并且包括换行符在内的任意字符(注意:‘ .‘不包括换行符)
re.U:表示特殊字符集\w、\W、\b、\B、\d、\D、\s、\S依赖于Unicode字符属性数据库
eg.
import urllib
import re
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getUrl(html):
reg = r'href="(.+?\.html)"'
urlre = re.compile(reg)
urllist = re.findall(urlre,html)
return urllist
if __name__=='__main__':
s = []
html = getHtml("http://www.sina.com.cn")
gurl = getUrl(html)
s = gurl
i = 0
for i in range(0,len(s)) :
print "%s\n"%s[i]
(r是raw(原始)的意思。因为在表示字符串中有一些转义符,如表示回车'\n'。如果要表示\表需要写为'\\'。但如果我就是需要表示一个'\'+'n',不用r方式要写为:'\\n'。但使用r方式则为r'\n'这样清晰多了。)
re.search()
re.search(pattern,string[,flags])
search(string[,pos[,endpos]])
作用:在字符串中寻找匹配正则表达式模式的位置,返回MatchObject的实例,如果没有招到匹配的位置,则返回None
re.match()
re.match(pattern,string[,flags])
match(string[,pos[,endpos]])
作用:match()函数只在字符串开始位置尝试匹配正则表达式,也就是只报告从位置0开始的匹配情况,而search()函数是扫描整个字符串来寻找匹配。如果想要搜索整个字符串来寻找匹配,应当用search()
例:最基本的用法,通过re.RegexObject对象调用
#!/usr/bin/env python
import re
r1 = re.compile(r'world')
if r1.match('helloworld'):
print 'match succeeds'
else:
print 'match fails'
if r1.search('helloworld'):
print 'search succeeds'
else:
print 'search fails'
例:设置flag
#r2 = re.compile(r'n$', re.S)
#r2 = re.compile('\n$', re.S)
r2 = re.compile('World$', re.I)
if r2.search('helloworld\n'):
print 'search succeeds'
else:
print 'search fails'
例:直接调用
if re.search(r'abc','helloaaabcdworldn'):
print 'search succeeds'
else:
print 'search fails'
re.split()
re.split(pattern, string[, maxsplit=0, flags=0])
split(string[, maxsplit=0])
作用:可以将字符串匹配正则表达式的部分割开并返回一个列表
#!/usr/bin/env python
import re
r1 = re.compile('W+')
print r1.split('192.168.1.1')
print re.split('(W+)','192.168.1.1')
print re.split('(W+)','192.168.1.1',1)
re.findall()
re.findall(pattern, string[, flags])
findall(string[, pos[, endpos]])
作用:在字符串中找到正则表达式所匹配的所有子串,并组成一个列表返回
例:查找[]包括的内容(贪婪和非贪婪查找)
#!/usr/bin/env python
import re
r1 = re.compile('([.*])')
print re.findall(r1,"hello[hi]heldfsdsf[iwonder]lo")
r1 = re.compile('([.*?])')
print re.findall(r1,"hello[hi]heldfsdsf[iwonder]lo")
print re.findall('[0-9]{2}',"fdskfj1323jfkdj")
print re.findall('([0-9][a-z])',"fdskfj1323jfkdj")
print re.findall('(?=www)',"afdsfwwwfkdjfsdfsdwww")
print re.findall('(?<=www)',"afdsfwwwfkdjfsdfsdwww")
finditer
re.finditer(pattern, string[, flags])
finditer(string[, pos[, endpos]])
说明:和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并组成一个迭代器返回。
re.sub()
re.sub(pattern, repl, string[, count, flags])
sub(repl, string[, count=0])
说明:在字符串 string 中找到匹配正则表达式 pattern 的所有子串,用另一个字符串 repl 进行替换。如果没有找到匹配 pattern 的串,则返回未被修改的 string。Repl 既可以是字符串也可以是一个函数。
#!/usr/bin/env python
import re
p = re.compile('(one|two|three)')
print p.sub('num','one word two words three words
apple', 2)
subn
re.subn(pattern, repl, string[, count, flags])
subn(repl, string[, count=0])
说明:该函数的功能和 sub() 相同,但它还返回新的字符串以及替换的次数。