python文本预处理速度慢_总结！实用Python文本预处理代码

原标题：总结！实用Python文本预处理代码

作者 | Data Monster，译者 | Linstancy

出品 | AI科技大本营(ID:rgznai100)

本文将讨论文本预处理的基本步骤，旨在将文本信息从人类语言转换为机器可读格式以便用于后续处理。此外，本文还将进一步讨论文本预处理过程所需要的工具。

当拿到一个文本后，首先从文本正则化 (text normalization)处理开始。常见的文本正则化步骤包括：

将文本中出现的所有字母转换为小写或大写

将文本中的数字转换为单词或删除这些数字

删除文本中出现的标点符号、重音符号以及其他变音符号

删除文本中的空白区域

扩展文本中出现的缩写

删除文本中出现的终止词、稀疏词和特定词

文本规范化 (text canonicalization)

下面将详细描述上述文本正则化步骤。

将文本中出现的字母转化为小写

示例1：将字母转化为小写

Python 实现代码：

input_str = ”The 5biggest countries bypopulation in2017are China, India, United States, Indonesia, andBrazil.”

input_str = input_str.lower

print(input_str)

输出：

the 5biggest countries bypopulation in2017are china, india, united states, indonesia, andbrazil.

删除文本中出现的数字

如果文本中的数字与文本分析无关的话，那就删除这些数字。通常，正则化表达式可以帮助你实现这一过程。

示例2：删除数字

Python 实现代码：

importre

input_str = ’Box A contains 3red and5white balls, whileBox B contains 4red and2blue balls.’

result = re.sub(r’d+’, ‘’, input_str)

print(result)

输出：

Box A contains red andwhite balls, whileBox B contains red andblue balls.

删除文本中出现的标点

以下示例代码演示如何删除文本中的标点符号，如 [!”#$%&’*+,-./:;<=>?@[]^_`{|}~] 等符号。

示例3：删除标点

Python 实现代码：

importstring

input_str = “This &is [an] example? {of} string. with.? punctuation!!!!” #