正则表达式与MatchObject

基础

        1，python中，如果正则表达式有()，则返回的是()中的内容。

        2，python中，正则表达式默认使用的是贪婪匹配，可以在元字符(如+,*,{}等)后面跟?以使用非贪婪匹配。如：

#coding:utf-8
import re
s = r'ad?'
print re.findall(s,'addddd') # ad
# 如果将s=r"ad??",则返回的结果是a

re模块

        对正则表达式的操作都需要re模块的支持。该模块中常用的方法和属性如下：

        M：匹配多行字符串时，^$只代表第一行行头和最后一行末尾，加上该属性后正则表达式就可以匹配每一行。如下：

import re
s = '''
abcdef rew
rew abad
tera rea
rew import
'''
p = r'^rew'
print re.findall(p,s) # []
print re.findall(p,s,re.M) # ['rew', 'rew']

        第一次匹配时没有加M，所以只会匹配最开始，不满足条件；第二次将每一行当作单独行进行匹配，所以可以得到两个匹配结果。

        X：将正则表达式为多行时，配合X属性使用可以将多行正则看成一行。如

import re
s = '13001099999'
p = r'''13[0-9]
\d{8}'''
print re.findall(p,s) # []
print re.findall(p,s,re.X) # ['13001099999']

        不加X属性时，p中被认为含有一个\n，所以匹配不成功。

        S：在正则表达式中，点不能匹配\n，如果加上S属性，则点可以匹配\n。如下：

>>> s=r"a.b"
>>> re.findall(s,"a\nb",re.S) # .可以匹配\n。
['a\nb']
>>> re.findall(s,"a\nb") # 默认时.不可能匹配\n
[]

        findall(pattern,string)：以list形式返回匹配结果。

        compile：将字符串形式的正则表达式编译成一个对象，使用该对象进行操作时比直接使用字符串更迅速。

        match：只从字符串的开始与正则表达式匹配，匹配成功返回matchobject，否则返回none。compile()得到的对象中也有该方法。

        search：扫描整个字符串并与正则表达式匹配，如果没有匹配成功，返回none，否则返回matchobject。compile()得到的对象中也有该方法。如：

import re
s = "ad+"
print re.match(s,"baddddd") # None
print re.search(s,"baddddd") # 返回matchobject对象

        finditer：与fiindall类似，但该方法返回一个迭代器对象，需要通过迭代从迭代器对象中取出值。

        sub：将匹配上的字符串进行替换。如：

import re
s = "hellohu hu hui"
print re.sub(r"hu",'xx',s) # helloxx xx xxi
print re.sub(r"hu\b",'xx',s) # helloxx xx hui
print re.sub(r"\bhu\b",'xx',s) # hellohu xx hui

        第一个直接匹配hu字符串，所以三个都被替换掉。第二个匹配单词结尾为hu的，所以只替换前两个。第三个匹配单词为hu的，所以只替换第二个。

        split：在匹配上的位置处进行切割。如：

import re
s = "13+23-223*34/17"
print re.split(r"[\+\-\*/]",s) # ['13', '23', '223', '34', '17'] 将表达式按加减乘除进行切分，需要将加减乘进行转义

MatchObject

        match,search等方法会返回matchobject对象，其常用方法如下：

        group()：返回被正则匹配的字符串，也就是匹配的结果。如：

import re
s = "ad+"
a = re.compile(s)
result = a.match("adddddcddd")
print result.group() # addddd

爬虫

        所谓的爬虫就是采取网页内容，然后通过正则匹配自己需要的文字。比如下面的，可以将指定Url中的图片下载下来。如下：

import re
import urllib
def getHtml(url): # 根据链接获取对应的html文本
	html = urllib.urlopen(url)
	return html.read()
def isError(url):
	return '>' in url
'''
http://static.tieba.baidu.com/tb/editor/images/client/image_emoticon25.png" >
和我的比比
<br>
<img class="BDE_Image" src="http://imgsrc.baidu.com/forum/w%3D580/sign=e3846f8f19dfa9ecfd2e561f52d1f754/a30bd8ea15ce36d3c46e8ea332f33a87e850b17d.jpg
'''
def filterUrl(url): # 对Url再进行一次过滤，因为有可能出现注释中的链接
	if isError(url):
		p = r'src="(http://.+?\.jpg)'
		url = re.findall(p,url)[0]
		return url
	else:
		return url
def downloadImage(html):
	p = r'src="(http://[^t]{1}.+?\.jpg)" size'
	imgurls = re.findall(p,html)
	x = 0
	for url in imgurls:
		urllib.urlretrieve(filterUrl(url),"%s.jpg" % x) # 将指定url的图片保存在本地
		x+=1
html = getHtml("http://tieba.baidu.com/p/4206585657?see_lz=1")
downloadImage(html)