Python Cookbook --第二章：字符串和文本（1）

        章节概述：几乎所有有用的程序都会涉及到某些文本处理，不管是解析数据还是产生输出。这一章将重点关注文本的操作处理，比如提取字符串，搜索，替换以及解析等。大部分的问题都能简单的调用字符串的内建方法完成。但是，一些更为复杂的操作可能需要正则表达式或者强大的解析器，所有这些主题我们都会详细讲解。并且在操作 Unicode时候碰到的一些棘手的问题在这里也会被提及到。

问题1：使用多个界定符分隔字符串

需要将一个字符串分隔为多个字段，但是分隔符（还有周围的空格）并不是固定的。

• String对象的split()方法只适应于非常简单的字符串分割情形，它并不允许有多个分隔符或者分隔符周围不确定的空格。此时使用re.split()方法是最好的。

>>> line = "asdf fedsf; fdswf, few,fds, fgs"

>>> import re

>>> re.split(r"[;,\s]\s*",line)

['asdf', 'fedsf', 'fdswf', 'few', 'fds', 'fgs']

• 使用re.split()时需要注意正则表达式中是否包含一个括号捕获分组，如果使用了捕获分组，那么被匹配的文本也将出现在结果列表中。示例如下：

>>> re.split(r"(;|,|\s)\s*",line)

['asdf', ' ', 'fedsf', ';', 'fdswf', ',', 'few', ',', 'fds', ',', 'fgs']

 

问题2:字符串开头或者结尾匹配

需要通过指定的文本模式去检查字符串的开头或者结尾，比如文件名后缀，URL Scheme等等。

• 检查字符串开头或者结尾的一个简单方法是使用str.startswith()或者是str.endswith()方法。

>>> filename = "spam.txt"

>>> filename.endswith(".txt")

True

>>> url = "http://www.python.org"

>>> url.startswith("http:")

True

• 如果想检查多种匹配可能，只需要将所有的匹配项放入到一个元组(必须放置元组中)中去，然后传给startswitn()或者endswith()方法。

>>> import os

>>> filenames = os.listdir('.')

>>> filenames

[ 'Makefile', 'foo.c', 'bar.py', 'spam.c', 'spam.h' ]

>>> [name for name in filenames if name.endswith(('.c', '.h')) ]  # 多种匹配放在元组中

['foo.c', 'spam.c', 'spam.h']



#any() --->只要()中不为空则为True,反之为False.

>>> any(name.endswith('.py') for name in filenames)

True

• 使用切片也可以做，只是看起来没有没有那么优雅。

>>> filename = "spam.txt"

>>> filename[-4:] == ".txt"

True

• 使用正则表达式也可以实现，但是对于简单的匹配过于大材小用

>>> import re

>>> url = "http://www.python.org"

>>> re.match("http:|https:|ftp:",url)

<_sre.SRE_Match object; span=(0, 5), match='http:'>

 

问题3：用Shell通配符匹配字符串

若要使用Unix Shell中常用的通配符（比如：*.py, Dat[0-9]*.csv等）去匹配文本字符串。

• fnmatch模块提供了两个函数—fnmatch()和fnmatchcase()，可以用来实现这样的匹配。

#fnmatch()模块介绍

fnmatch(name, pat)

    Test whether FILENAME matches PATTERN.

    Patterns are Unix shell style:

    *       matches everything

    ?       matches any single character

    [seq]    matches any character in seq

    [!seq]    matches any char not in seq

>>> from fnmatch import fnmatch,fnmatchcase

>>> fnmatch("foo.txt","*.txt")

True

>>> fnmatch("foo.txt","?oo.txt")

True

• fnmatch() 函数使用底层操作系统的大小写敏感规则 (不同的系统是不一样的) 来匹配模式。

>>> fnmatch("foo.txt","*.TXT")  #On windows

True



>>> from fnmatch import fnmatch

>>> fnmatch("foo.txt","*.TXT")  #On Ubuntu

False

• fnmatchcase()是按照你的pattern来匹配的。不受操作系统干预。

 

问题4：字符串匹配和搜索

若需要匹配或者搜索特定模式的文本

• 如果匹配的是字面字符串，那么通常只需要调用基本字符串方法就可以。比如：str.find()，str.endswith()，str.startswith()或者类似的方法。

>>> text = "year, 1028, but 2018, dsf year"

>>> text == "year"  #准确匹配

False

>>> text.endswith("year")  # 匹配结束

True

>>> text.startswith("year")  # 匹配开始

True

>>> text.find("2018")  #寻找，返回起始位

16

>>> text.find("hh")  # 若查找失败，则返回-1

-1

• 对于复杂的匹配，需要使用正则表达式和re模块。

>>> import re

>>> date = "12/19/2018"

>>> re.match(r"\d+/\d+/\d+",date)

<_sre.SRE_Match object; span=(0, 10), match='12/19/2018'>

 

问题5：字符串搜索和替换

若需要在字符串中搜索和匹配指定的文本模式

• 对于简单的字面模式，直接使用str.replace()方法即可。

>>> text = "year, 1028, but 2018, dsf year"

>>> text.replace("year","years")

'years, 1028, but 2018, dsf years'

• 对于复杂的模式，则需要使用re.sub()函数。

sub(pattern, repl, string, count=0, flags=0)



>>> text = "Today is 12/19/2018.PyCon starts 3/13/2013"

>>> import re

>>> re.sub(r"(\d+)/(\d+)/(\d+)",r"\3-\1-\2",text)

'Today is 2018-12-19.PyCon starts 2013-3-13'

 

• 如果多次用到相同的模式做匹配替换，考虑先编译它来提升性能。

>>> pattern = re.compile(r"(\d+)/(\d+)/(\d+)") #先进行编译

>>> pattern.sub(r"\3-\1-\2",text)

'Today is 2018-12-19.PyCon starts 2013-3-13'

 

问题6：字符串忽略大小写的搜索替换

需要以忽略大小写的方式搜索与替换文本字符串

• 在处理文本时忽略大小写，可以使用re模块中提供的flags标志位àre.IGNORECASE。

>>> text = "year, but 2018, dsf Year"

>>> re.findall("year",text,flags=re.IGNORECASE)

['year', 'Year']

>>> re.sub("year","Python",text,flags=re.IGNORECASE)

'Python, but 2018, dsf Python'

 

问题7：最短匹配模式

当试图用正则表达式匹配某个文本模式时，但是它找到的是模式的最长可能匹配。但是需求却是查找最短的可能匹配。

• 比如在匹配一对分隔符之间的文本的时候

>>> pattern = re.compile(r'\"(.*)\"')

>>> text1 = 'Computer says "no."'

>>> pattern.findall(text1)

['no.']

>>> text2 = 'Computer says "no." Phone says "yes."'  # *是贪婪操作符

>>> pattern.findall(text2)

['no." Phone says "yes.']

• 为了让贪婪匹配变成非贪婪模式，只要在模式中的 * 操作符后面加上？修饰符。

>>> pattern = re.compile(r'\"(.*?)\"')

>>> pattern.findall(text2)

['no.', 'yes.']

通过在 * 或者 + 这样的操作符后面添加一个 ? 可以强制匹配算法改成寻找最短的可能匹配。

 

问题8：多行匹配模式

如果使用正则表达式去匹配一大块的文本，则需要跨多行去匹配。

• 匹配C语言分割的注释：

>>> pattern = re.compile(r"/\*(.*?)\*/")  # . 无法匹配换行符

>>> pattern.match(text)

<_sre.SRE_Match object; span=(0, 9), match='/*ddasd*/'>

>>> text = '''/*ddas

... fdsfs*/'''

>>> pattern.match(text) #匹配失败，返回None

>>>

• 为了修正这个问题，需要修改模式字符串，增加对换行的支持。

>>> pattern = re.compile(r"/\*((?:.|\n)*?)\*/")  # ?: 表示不保存分组

>>> pattern.match(text)

<_sre.SRE_Match object; span=(0, 14), match='/*ddas\nfdsfs*/'>

---