章节概述:几乎所有有用的程序都会涉及到某些文本处理,不管是解析数据还是产生输出。这一章将重点关注文本的操作处理,比如提取字符串,搜索,替换以及解析等。大部分的问题都能简单的调用字符串的内建方法完成。但是,一些更为复杂的操作可能需要正则表达式或者强大的解析器,所有这些主题我们都会详细讲解。并且在操作 Unicode时候碰到的一些棘手的问题在这里也会被提及到。
问题1:使用多个界定符分隔字符串
需要将一个字符串分隔为多个字段,但是分隔符(还有周围的空格)并不是固定的。
- String对象的split()方法只适应于非常简单的字符串分割情形,它并不允许有多个分隔符或者分隔符周围不确定的空格。此时使用re.split()方法是最好的。
>>> line = "asdf fedsf; fdswf, few,fds, fgs"
>>> import re
>>> re.split(r"[;,\s]\s*",line)
['asdf', 'fedsf', 'fdswf', 'few', 'fds', 'fgs']
- 使用re.split()时需要注意正则表达式中是否包含一个括号捕获分组,如果使用了捕获分组,那么被匹配的文本也将出现在结果列表中。示例如下:
>>> re.split(r"(;|,|\s)\s*",line)
['asdf', ' ', 'fedsf', ';', 'fdswf', ',', 'few', ',', 'fds', ',', 'fgs']
问题2:字符串开头或者结尾匹配
需要通过指定的文本模式去检查字符串的开头或者结尾,比如文件名后缀,URL Scheme等等。
- 检查字符串开头或者结尾的一个简单方法是使用str.startswith()或者是str.endswith()方法。
>>> filename = "spam.txt"
>>> filename.endswith(".txt")
True
>>> url = "http://www.python.org"
>>> url.startswith("http:")
True
- 如果想检查多种匹配可能,只需要将所有的匹配项放入到一个元组(必须放置元组中)中去,然后传给startswitn()或者endswith()方法。
>>> import os
>>> filenames = os.listdir('.')
>>> filenames
[ 'Makefile', 'foo.c', 'bar.py', 'spam.c', 'spam.h' ]
>>> [name for name in filenames if name.endswith(('.c', '.h')) ] # 多种匹配放在元组中
['foo.c', 'spam.c', 'spam.h']
#any() --->只要()中不为空则为True,反之为False.
>>> any(name.endswith('.py') for name in filenames)
True
- 使用切片也可以做,只是看起来没有没有那么优雅。
>>> filename = "spam.txt"
>>> filename[-4:] == ".txt"
True
- 使用正则表达式也可以实现,但是对于简单的匹配过于大材小用
>>> import re
>>> url = "http://www.python.org"
>>> re.match("http:|https:|ftp:",url)
<_sre.SRE_Match object; span=(0, 5), match='http:'>
问题3:用Shell通配符匹配字符串
若要使用Unix Shell中常用的通配符(比如:*.py, Dat[0-9]*.csv等)去匹配文本字符串。
- fnmatch模块提供了两个函数—fnmatch()和fnmatchcase(),可以用来实现这样的匹配。
#fnmatch()模块介绍
fnmatch(name, pat)
Test whether FILENAME matches PATTERN.
Patterns are Unix shell style:
* matches everything
? matches any single character
[seq] matches any character in seq
[!seq] matches any char not in seq
>>> from fnmatch import fnmatch,fnmatchcase
>>> fnmatch("foo.txt","*.txt")
True
>>> fnmatch("foo.txt","?oo.txt")
True
- fnmatch() 函数使用底层操作系统的大小写敏感规则 (不同的系统是不一样的) 来匹配模式。
>>> fnmatch("foo.txt","*.TXT") #On windows
True
>>> from fnmatch import fnmatch
>>> fnmatch("foo.txt","*.TXT") #On Ubuntu
False
- fnmatchcase()是按照你的pattern来匹配的。不受操作系统干预。
问题4:字符串匹配和搜索
若需要匹配或者搜索特定模式的文本
- 如果匹配的是字面字符串,那么通常只需要调用基本字符串方法就可以。比如:str.find(),str.endswith(),str.startswith()或者类似的方法。
>>> text = "year, 1028, but 2018, dsf year"
>>> text == "year" #准确匹配
False
>>> text.endswith("year") # 匹配结束
True
>>> text.startswith("year") # 匹配开始
True
>>> text.find("2018") #寻找,返回起始位
16
>>> text.find("hh") # 若查找失败,则返回-1
-1
- 对于复杂的匹配,需要使用正则表达式和re模块。
>>> import re
>>> date = "12/19/2018"
>>> re.match(r"\d+/\d+/\d+",date)
<_sre.SRE_Match object; span=(0, 10), match='12/19/2018'>
问题5:字符串搜索和替换
若需要在字符串中搜索和匹配指定的文本模式
- 对于简单的字面模式,直接使用str.replace()方法即可。
>>> text = "year, 1028, but 2018, dsf year"
>>> text.replace("year","years")
'years, 1028, but 2018, dsf years'
- 对于复杂的模式,则需要使用re.sub()函数。
sub(pattern, repl, string, count=0, flags=0)
>>> text = "Today is 12/19/2018.PyCon starts 3/13/2013"
>>> import re
>>> re.sub(r"(\d+)/(\d+)/(\d+)",r"\3-\1-\2",text)
'Today is 2018-12-19.PyCon starts 2013-3-13'
- 如果多次用到相同的模式做匹配替换,考虑先编译它来提升性能。
>>> pattern = re.compile(r"(\d+)/(\d+)/(\d+)") #先进行编译
>>> pattern.sub(r"\3-\1-\2",text)
'Today is 2018-12-19.PyCon starts 2013-3-13'
问题6:字符串忽略大小写的搜索替换
需要以忽略大小写的方式搜索与替换文本字符串
- 在处理文本时忽略大小写,可以使用re模块中提供的flags标志位àre.IGNORECASE。
>>> text = "year, but 2018, dsf Year"
>>> re.findall("year",text,flags=re.IGNORECASE)
['year', 'Year']
>>> re.sub("year","Python",text,flags=re.IGNORECASE)
'Python, but 2018, dsf Python'
问题7:最短匹配模式
当试图用正则表达式匹配某个文本模式时,但是它找到的是模式的最长可能匹配。但是需求却是查找最短的可能匹配。
- 比如在匹配一对分隔符之间的文本的时候
>>> pattern = re.compile(r'\"(.*)\"')
>>> text1 = 'Computer says "no."'
>>> pattern.findall(text1)
['no.']
>>> text2 = 'Computer says "no." Phone says "yes."' # *是贪婪操作符
>>> pattern.findall(text2)
['no." Phone says "yes.']
- 为了让贪婪匹配变成非贪婪模式,只要在模式中的 * 操作符后面加上?修饰符。
>>> pattern = re.compile(r'\"(.*?)\"')
>>> pattern.findall(text2)
['no.', 'yes.']
通过在 * 或者 + 这样的操作符后面添加一个 ? 可以强制匹配算法改成寻找最短的可能匹配。
问题8:多行匹配模式
如果使用正则表达式去匹配一大块的文本,则需要跨多行去匹配。
- 匹配C语言分割的注释:
>>> pattern = re.compile(r"/\*(.*?)\*/") # . 无法匹配换行符
>>> pattern.match(text)
<_sre.SRE_Match object; span=(0, 9), match='/*ddasd*/'>
>>> text = '''/*ddas
... fdsfs*/'''
>>> pattern.match(text) #匹配失败,返回None
>>>
- 为了修正这个问题,需要修改模式字符串,增加对换行的支持。
>>> pattern = re.compile(r"/\*((?:.|\n)*?)\*/") # ?: 表示不保存分组
>>> pattern.match(text)
<_sre.SRE_Match object; span=(0, 14), match='/*ddas\nfdsfs*/'>