python中re模块的使用

python的re模块（regular expression 正则表达式）提供各种正则表达式的匹配操作。在文本解析、复杂字符串分析和信息提取时是非常有用的工具，下面是re的常用方法

爬虫程序抓取到信息后，需要对信息进行处理，re模块提供的正则表达式对于信息处理非常有用。

1.引入re模块

import re
#查看re模块功能信息(其他模块也可以如此)
print re.__doc__

2.re的正则表达式语法，如下表

正则表达式特殊序列表

3.re的主要功能函数

常用的功能函数包括：re.compile()、re.search()、re.match()、re.split()、re.findall()/finditer()、re.sub()/subn()

re.compile(pattern[,flags])

作用：把正则表达式语法转化成正则表达式对象

flags定义包括：

re.I：忽略大小写

re.L：表示特殊字符集\w、\W、\b、\B、\s、\S依赖于当前环境

re.M：多行模式

re.S：' .'并且包括换行符在内的任意字符（注意：‘ .‘不包括换行符）

re.U：表示特殊字符集\w、\W、\b、\B、\d、\D、\s、\S依赖于Unicode字符属性数据库

eg.

import urllib
import re
def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html
def getUrl(html):
    reg = r'href="(.+?\.html)"'
    urlre = re.compile(reg)
    urllist = re.findall(urlre,html)
    return urllist
if __name__=='__main__':
    s = []
    html = getHtml("http://www.sina.com.cn")
    gurl = getUrl(html)
    s = gurl
    i = 0
    for i in range(0,len(s)) :
        print "%s\n"%s[i]

(r是raw(原始)的意思。因为在表示字符串中有一些转义符，如表示回车'\n'。如果要表示\表需要写为'\\'。但如果我就是需要表示一个'\'+'n'，不用r方式要写为:'\\n'。但使用r方式则为r'\n'这样清晰多了。)

re.search()

re.search(pattern,string[,flags])

search(string[,pos[,endpos]])

作用：在字符串中寻找匹配正则表达式模式的位置，返回MatchObject的实例，如果没有招到匹配的位置，则返回None

re.match()

re.match(pattern,string[,flags])

match(string[,pos[,endpos]])

作用：match()函数只在字符串开始位置尝试匹配正则表达式，也就是只报告从位置0开始的匹配情况，而search()函数是扫描整个字符串来寻找匹配。如果想要搜索整个字符串来寻找匹配，应当用search()

例：最基本的用法，通过re.RegexObject对象调用

#!/usr/bin/env python
import re
r1 = re.compile(r'world')
if r1.match('helloworld'):
    print 'match succeeds'
else:
    print 'match fails'
if r1.search('helloworld'):
    print 'search succeeds'
else:
    print 'search fails'

例：设置flag

#r2 = re.compile(r'n$', re.S)
#r2 = re.compile('\n$', re.S)
r2 = re.compile('World$', re.I)
if r2.search('helloworld\n'):
    print 'search succeeds'
else:
    print 'search fails'

例：直接调用

if re.search(r'abc','helloaaabcdworldn'):
    print 'search succeeds'
else:
    print 'search fails'

re.split()
re.split(pattern, string[, maxsplit=0, flags=0])
split(string[, maxsplit=0])
作用：可以将字符串匹配正则表达式的部分割开并返回一个列表

#!/usr/bin/env python
import re
r1 = re.compile('W+')
print r1.split('192.168.1.1')
print re.split('(W+)','192.168.1.1')
print re.split('(W+)','192.168.1.1',1)

re.findall()
re.findall(pattern, string[, flags])
findall(string[, pos[, endpos]])
作用：在字符串中找到正则表达式所匹配的所有子串，并组成一个列表返回
例：查找[]包括的内容（贪婪和非贪婪查找）

#!/usr/bin/env python
import re
r1 = re.compile('([.*])')
print re.findall(r1,"hello[hi]heldfsdsf[iwonder]lo")
r1 = re.compile('([.*?])')
print re.findall(r1,"hello[hi]heldfsdsf[iwonder]lo")
print re.findall('[0-9]{2}',"fdskfj1323jfkdj")
print re.findall('([0-9][a-z])',"fdskfj1323jfkdj")
print re.findall('(?=www)',"afdsfwwwfkdjfsdfsdwww")
print re.findall('(?<=www)',"afdsfwwwfkdjfsdfsdwww")

finditer
re.finditer(pattern, string[, flags])
finditer(string[, pos[, endpos]])
说明：和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并组成一个迭代器返回。

re.sub()

re.sub(pattern, repl, string[, count, flags])
sub(repl, string[, count=0])
说明：在字符串 string 中找到匹配正则表达式 pattern 的所有子串，用另一个字符串 repl 进行替换。如果没有找到匹配 pattern 的串，则返回未被修改的 string。Repl 既可以是字符串也可以是一个函数。

#!/usr/bin/env python
import re
p = re.compile('(one|two|three)')
print p.sub('num','one word two words three words
apple', 2)

subn

re.subn(pattern, repl, string[, count, flags])
subn(repl, string[, count=0])
说明：该函数的功能和 sub() 相同，但它还返回新的字符串以及替换的次数。