Python数据分析 | (24) 字符串操作

Python能够成为流行的数据处理语言，部分原因是其简单易用的字符串和文 本处理功能。大部分文本运算都直接做成了字符串对象的内置方法。对于更 为复杂的模式匹配和文本操作，则可能需要用到正则表达式。pandas对此进 行了加强，它使你能够对整组数据应用字符串表达式和正则表达式(并行化/向量化处理)，而且能 处理烦人的缺失数据。

目录

1. 字符串对象方法

2. 正则表达式

3.pandas的矢量化字符串函数

4. 总结

---

1. 字符串对象方法

对于许多字符串处理和脚本应用，内置的字符串方法已经能够满足要求了。例如，以逗号分隔的字符串可以用split拆分成数段:

val = 'a,b,  guido'
val.split(',')

split常常与strip一起使用，以去除空白符(包括换行符):

pieces = [x.strip() for x in val.split(',')]
pieces

 

利用加法，可以将这些子字符串以双冒号分隔符的形式连接起来:

first, second, third = pieces
first + '::' + second + '::' + third

但这种方式并不是很实用。一种更快更符合Python风格的方式是，向字符 串"::"的join方法传入一个列表或元组:

'::'.join(pieces)

其它方法关注的是子串定位。检测子串的最佳方式是利用Python的in关键 字，还可以使用index和find:

print('guido' in val)
print(val.index(','))
print(val.find(':'))

注意find和index的区别:如果找不到字符串，index将会引发一个异常(而不 是返回-1):

val.index(':')

与此相关，count可以返回指定子串的出现次数:

val.count(',')

replace用于将指定模式替换为另一个模式。通过传入空字符串，它也常常用 于删除模式:

print(val.replace(',', '::'))
print(val.replace(',', ''))

下表列出了Python内置的字符串方法：

这些运算大部分都能使用正则表达式实现(之后会介绍)：

casefold 将字符转换为小写，并将任何特定区域的变量字符组合转换成一个 通用的可比较形式。

2. 正则表达式

正则表达式提供了一种灵活的在文本中搜索或匹配(通常比前者复杂)字符 串模式的方式。正则表达式，常称作regex，是根据正则表达式语言编写的字 符串。Python内置的re模块负责对字符串应用正则表达式。我将通过一些例 子说明其使用方法。

正则表达式的编写技巧可以自成一章，超出了本博客的范围。从网上和其它书可以找到许多非常不错的教程和参考资料。

我之前也有几篇介绍正则表达式的博客：正则1，正则2，正则3。

re模块的函数可以分为三个大类:模式匹配、替换以及拆分。当然，它们之 间是相辅相成的。一个regex描述了需要在文本中定位的一个模式，它可以用 于许多目的。我们先来看一个简单的例子:假设我想要拆分一个字符串，分 隔符为数量不定的一组空白符(制表符、空格、换行符等)。描述一个或多 个空白符的regex是\s+:

import re
text = "foo    bar\t baz  \tqux"
re.split('\s+', text)

调用re.split('\s+',text)时，正则表达式会先被编译，然后再在text上调用其split方法。你可以用re.compile自己编译regex以得到一个可重用的regex对象:

regex = re.compile('\s+')
regex.split(text)

如果只希望得到匹配regex的所有模式，则可以使用findall方法:

regex.findall(text)

如果想避免正则表达式中不需要的转义(\)，则可以使用原始字 符串字面量如r'C:\x'(也可以编写其等价式'C:\x')。

如果打算对许多字符串应用同一条正则表达式，强烈建议通过re.compile创 建regex对象。这样将可以节省大量的CPU时间。

match和search跟findall功能类似。findall返回的是字符串中所有的匹配项， 而search则只返回第一个匹配项。match更加严格，它只匹配字符串的首 部。来看一个小例子，假设我们有一段文本以及一条能够识别大部分电子邮 件地址的正则表达式:

text = """Dave dave@google.com
Steve steve@gmail.com
Rob rob@gmail.com
Ryan ryan@yahoo.com
"""
pattern = r'[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}'

# re.IGNORECASE makes the regex case-insensitive 大小写不敏感
regex = re.compile(pattern, flags=re.IGNORECASE)

 

对text使用findall将得到一组电子邮件地址:

regex.findall(text)

search返回的是文本中第一个电子邮件地址(以特殊的匹配项对象形式返 回)。对于上面那个regex，匹配项对象只能告诉我们模式在原字符串中的起 始和结束位置:

m = regex.search(text)
print(m)
text[m.start():m.end()]

regex.match则将返回None，因为它只匹配出现在字符串开头的模式:

print(regex.match(text))

相关的，sub方法可以将匹配到的模式替换为指定字符串，并返回所得到的 新字符串:

print(regex.sub('REDACTED', text))

假设你不仅想要找出电子邮件地址，还想将各个地址分成3个部分:用户名、 域名以及域后缀。要实现此功能，只需将待分段的模式的各部分用圆括号包 起来即可:

pattern = r'([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\.([A-Z]{2,4})'
regex = re.compile(pattern, flags=re.IGNORECASE)

由这种修改过的正则表达式所产生的匹配项对象，可以通过其groups方法返 回一个由模式各段组成的元组:

m = regex.match('wesm@bright.net')
print(m.groups())

对于带有分组功能的模式，findall会返回一个元组列表:

regex.findall(text)

sub还能通过诸如\1、\2之类的特殊符号访问各匹配项中的分组。符号\1对应 第一个匹配的组，\2对应第二个匹配的组，以此类推:

print(regex.sub(r'Username: \1, Domain: \2, Suffix: \3', text))

Python中还有许多的正则表达式，但大部分都超出了本篇博客的范围。下表是一 个简要概括。

3.pandas的矢量化字符串函数

清理待分析的散乱数据时，常常需要做一些字符串规整化工作。更为复杂的情况是，含有字符串的列有时还含有缺失数据:

data = {'Dave': 'dave@google.com', 'Steve': 'steve@gmail.com',
        'Rob': 'rob@gmail.com', 'Wes': np.nan}
data = pd.Series(data)
print(data)
data.isnull()

 通过data.map，所有字符串和正则表达式方法都能被应用于(传入lambda表 达式或其他函数)各个值，但是如果存在NA(null)就会报错。为了解决这 个问题，Series有一些能够跳过NA值的面向数组方法，进行字符串操作。通 过Series的str属性即可访问这些方法。例如，我们可以通过str.contains检查 各个电子邮件地址是否含有"gmail":

data.str.contains('gmail')

 也可以使用正则表达式，还可以加上任意re选项(如IGNORECASE):

print(pattern)
data.str.findall(pattern, flags=re.IGNORECASE)

 有两个办法可以实现矢量化的元素获取操作:要么使用str.get，要么在str属 性上使用索引:

matches = data.str.match(pattern, flags=re.IGNORECASE)
matches

 

要访问嵌入列表中的元素，我们可以传递索引到这两个函数中:

print(matches.str.get(1))
print(matches.str[0])

 你可以利用这种方法对字符串进行截取:

data.str[:5]

 下表介绍了更多的pandas字符串方法。

4. 总结

高效的数据准备可以让你将更多的时间用于数据分析，花较少的时间用于准 备工作，这样就可以极大地提高生产力。我们在近几篇博客中学习了许多工具，但 覆盖并不全面。之后的博客，我们会学习pandas的聚合与分组。