【Python进阶】字符串和文本

 

 

一、对任意多的分隔符拆分字符串

　　字符串对象的split()方法只能处理非常简单的情况，而且不支持多个分隔符，对分隔符周围可能存在的空格也无能为力。

　　应该使用 re.split()，需要小心正则表达式模式中的捕获组（capture group）是否包含在了括号中。

　　如果用到了捕获组，那么匹配的文本也会包含在最终结果中。

>>> line = 'asdf fkdk; afed, fdsf,asdf,   foo'
>>> re.split(r'[;,\s]\s*',line)
['asdf', 'fkdk', 'afed', 'fdsf', 'asdf', 'foo']

>>> re.split(r'(;|,|\s)\s*',line)
['asdf', ' ', 'fkdk', ';', 'afed', ',', 'fdsf', ',', 'asdf', ',', 'foo']

　　如果不想再结果中看到分割字符，但仍想用括号来对正则表达式模式进行分组，确保用的是非捕获组，以（?: ）的形式指定。

>>> re.split(r'(?:;|,|\s)\s*',line)
['asdf', 'fkdk', 'afed', 'fdsf', 'asdf', 'foo']

 

二、在字符串的开头或结尾处做文本匹配

　　使用str.startswith()和str.endswith()方法。

　　如果需要同时对多个选项做检查，只需给startswith()和endswitch()提供包含可能选项的元组 即可！

　　>>> [name for name in filenames if name.endswith(('.c','.h')) ]

　　使用re正则表达式作为替代方案：

　　>>> re.match(r'http:|https:|ftp:|', url)

　　检查目录有无出现特定文件：

　　>>> if any(name.endswith(('.c','.h')) for name in listdir(dirname)):

 

三、利用Shell通配符做字符串匹配

　　fnmatch模块提供两个函数，fnmatch()和fnmatchcase()，可用来执行这样的匹配。使用起来更加简单：

>>> from fnmatch import fnmatch,fnmatchcase
>>> fnmatch('foo.txt','*.txt')
True>>> fnmatch('foo.txt','?oo.txt')
True
>>> fnmatch('Dat45.csv','Dat[0-9]*')
True
>>> fnmatchcase('foo.txt','*.TXT')
False

　　fnmatch()的匹配模式所采用的大小写区分规则和底层文件系统相同（根据操作系统的不同而有所不同）。

　　使用fnmatchcase()。完全根据提供的大小写方式来匹配

 

四、文本模式的匹配和查找

　　如果要匹配的是简单文字，只需要使用基本的字符串方法就可以了，如：str.find()、str.endswith()、str.startswith()或类似的函数。

　　复杂匹配使用正则表达式以及re模块。

　　re.match()方法总是尝试在字符串的开头找到匹配项。

　　如果想针对整个文本搜索出所有的匹配项，那么就应该使用findall()方法。

　　当定义正则表达式时，用括号抱起来的方式引入捕获组，能简化对匹配文本的处理。

　　每个组的内容都可以单独提取出来。

　　finditer()方法，以迭代的方式找出匹配项。

 

五、查找和替换

　　简单文本使用：str.replace()即可。复杂模式使用re.sub()函数。

　　例子：将9/10/2019格式改为2019-9-10。

>>> text = 'Today i 9/10/2019  Pycon start 3/13/2013'
>>> import re
>>> re.sub(r'(\d+)/(\d+)/(\d+)',r'\3-\1-\2-',text)
'Today i 2019-9-10-  Pycon start 2013-3-13-'

　　对于更加复杂的文本，可以指定一个替换回调函数。

datepat = re.compile(r'(\d+)/(\d+)/(\d+)')
from calendar import month_abbr
def change_date(m):
    mon_name = month_abbr(int(m.group(0)))
    return '{} {} {}'.format(m.group(2), mon_name, m.group(1))
datepat.sub(change_data, text)

　　替换回调函数的输入参数是一个匹配对象，由match()或find()返回。

　　用.group()方法来提取匹配中特定的部分。这个函数应该返回替换后的文本。

　　出了得到替换后文本外，还想知道一共完成了多少次替换，可以使用re.subn()。

 

六、不区分大小写的方式对文本做查找和替换

　　使用re模块加上re.IGNORECASE标记。

　　使用支撑函数，修正待替换文本和匹配文本大小写不吻合情况。

def matchcase(word):
    def replace(m):
        text = m.group()
        if text.isupper():
            return word.upper()
        elif text.islower():
            return word.lower()
        elif text[0].isupper():
            return word.capitalize()
        else:
            return word
    return replace

re.sub('python',matchcase('snake'),text,flag=re.IGNORECASE)

 

七、实现最短匹配的正则表达式

　　*操作符在正则表达式中采用贪心策略，所以匹配过程是基于找出最长的可能匹配来进行的。

　　只要在*操作符后面加上 ？修饰符就可以了。

>>> text1 = 'Computer says "no." phone says "yes."'
>>> re.findall(r'\"(.*)\"',text1)
['no." phone says "yes.']
>>> re.findall(r'\"(.*?)\"',text1)
['no.', 'yes.']

 

八、多行模式的正则表达式

　　.句点并不能匹配换行符。需要添加对换行符的支持

>>> comment = re.compile(r'/\*(.*?)\*/')
>>> comment = re.compile(r'/\*((?:.|\n)*?)\*/')

　　(?:.|\n)，指定了一个非捕获组（即，这个组只做匹配但不捕获结果，也不会分配组号）

　　也可以直接使用re.DOTALL模式，句点符号将匹配所有的字符。　　

 

九、将unicode文本统一表示为规范形式

　　>>> t1 = unicodedata.normalize('NFC', s1)

　　>>> t2 = unicodedata.normalize('NFD', s1)

 

十、正则表达式处理Unicode字符

　　能在多个不同的阿拉伯代码页中匹配所有的字符：

　　>>> arabic = re.compile('[\u0600-\u06ff\u0750-\u077f\u08a0-\u08ff]+ ')

 

十一、从字符串中去掉不需要的字符

　　在字符串的开始、结尾、中间去掉不需要的字符。

　　strip()可用来从字符串的开始、结尾处去掉字符；lstrip()和rstrip()可分别从左或者右侧开始执行去掉字符的操作。

　　默认情况下这些方法去除的是空格符，但也可以指定其他字符。

with open(filename) as f:
    lines = (line.strip() for line in f)
    for line in lines:
        ...

 

十二、文本过滤和清理

　　（1）建立一个转换表，然后使用translate()方法；

remap = {
    ord('\t') : ' ',
    ord('\f') : ' ',
    ord('\r') : None,
}

a = s.translate(remap)

　　（2）对文本能做初步的清理，然后结合encode()和decode()操作来修改或清理文本；

t1 = unicodedata.normalize('NFD', s1)
t1.encode('ascii', 'ignore').decode('ascii')

 

十三、对齐文本字符串

　　（1）使用字符串的ljust()、rjust()、center()方法。所有这些方法都可以接受一个可选的填充字符。

>>> text.ljust(20,'=')
'Hello World========='

　　（2）format()，函数也可以用来完成对齐的任务，合理使用< > ^以及一个期望的宽度值。

　　>>> format(text, '>20')

　　>>> format(text, '*^20s')

　　>>> '{:>10s} {:>10s}'.format('Hello', 'World')

　　format好处在于并不特定于字符串，还可以对数字做格式化处理：

　　>>> format(1.2345, '>10')

　　>>> format(1.2345, '^10.2f')

 

十四、字符串连接及合并

　　合并使用join()、+操作符或者直接排列一起，中间不加操作符；

　　复杂场景用format。

　　+操作符做链接非常低效，在于内存拷贝和垃圾收集产生的影响。每个+=操作符都会创建一个新的字符串对象。

　　利用生成器技巧：

　　>>> data = ['ACME', 50, 902]

　　>>> ','.join(str(d) for d in data)

　　打印时连接操作：

　　>>> print(a + ':' + b + ':' + c)

　　>>> print(':'.join([a, b, c]))

　　>>> print(a, b, c, sep=':')

　　同I/O操作混合使用：

def combine(source, maxsize):
    parts = []
    size = 0
    for part in source:
        parts.append(part)
        size += len(part) 
        if size < maxsize:
            yield ''.join(parts)
            parts = []
            size = 0
    yield ''.join(parts)

for part in combine(sample(), 32876):
    f.write(part)

 

十五、字符串中的变量名做插值处理

　　创建一个字符串，其中嵌入的变量名称会以变量的字符串值形式替换掉。Python并不会直接支持在字符串中对变量做简单的值替换

　　（1）使用format()方法。

　　>>> s = '{name} has {n} message'

　　>>> s.format(name='David', n=33)

　　（2）format_map()和vars联合使用。vars还可以用于实例上。

　　>>> s.format_map(vars())

　　>>> s.format_map(vars( Info('David',37) ))  

　　（3）format和format_map缺点，无法处理缺省值。单独定义__missing__()方法的字典类

class safesub(dict):
    def __missing__(self):
        return '{' + key +'}'

s.format_map(safesub(vars()))
'David has {n} message'

 

十六、以固定列数重新格式化文本

　　>>> print(textwrap.fill(s, 40))

　　os.get_terminal_size().columns 来获取终端尺寸大小。

 

十七、在文本中处理HTML和XML实体

　　将&entity或&#code这样的HTML或XML实体替换为它们相对应的文本。

　　或者我们需要生成文本，但是要对特定的字符做转义处理。

　　（1）生成文本，使用html.escape(s, quote=False)

　　（2）替换实体 HTML：

　　>>> from html.parser import HTMLParser

　　>>> p = HTMLParser()

　　>>> p.unescape(s)

　　（3）替换实体 XML：

　　>>> from xml.sax.saxutils import unescape

　　>>> unescape(t)

　　

二十、在字节串上执行文本你操作

　　在字节串（Byte String）上执行常见的文本操作，拆分、搜索和替换。

　　特别的需要在正则模式上做处理需要指定字节串的形式。

　　>>> re.split(b'[:,]', data)

　　print输出区别：

>>> a = 'Hello World'
>>> a[0]
'H'
>>> a[1]
'e'
>>> b = b'Hello World'
>>> b[0]
72
>>> b[1]
101

　　字节串上没有格式化操作。

 

转载于:https://www.cnblogs.com/5poi/p/11495377.html