python清洗文本_如何用Python清理文本数据？

不是所有数据格式都会采用表格格式。随着我们进入大数据时代，数据的格式非常多样化，包括图像、文本、图形等等。

因为格式非常多样，从一个数据到另一个数据，所以将这些数据预处理为计算机可读的格式是非常必要的。

在本文中，将展示如何使用Python预处理文本数据，我们需要用到 NLTK 和 re-library 库。

过程

1.文本小写

在我们开始处理文本之前，最好先将所有字符都小写。我们这样做的原因是为了避免区分大小写的过程。

假设我们想从字符串中删除停止词，正常操作是将非停止词合并成一个句子。如果不使用小写，则无法检测到停止词，并将导致相同的字符串。这就是为什么降低文本大小写这么重要了。

用Python实现这一点很容易。代码是这样的：

# 样例

x = "Watch This Airport Get Swallowed Up By A Sandstorm In Under A Minute http://t.co/TvYQczGJdy"

# 将文本小写

x = x.lower()

print(x)

>>> watch this airport get swallowed up bya sandstorminunder aminutehttp://t.co/tvyqczgjdy

2.删除 Unicode 字符

一些文章中可能包含 Unicode 字符，当我们在 ASCII 格式上看到它时，它是不可读的。大多数情况下，这些字符用于表情符号和非 ASCII 字符。要删除该字符，我们可以使用这样的代码：

# 示例

x = "Reddit Will Now Quarantine‰Û_ http://t.co/pkUAMXw6pm #onlinecommunities #reddit #amageddon #freespeech #Business http://t.co/PAWvNJ4sAP"

# 删除 unicode 字符

x = x.encode('ascii','ignore').decode()

print(x)

>>> Reddit Will Now Quarantine_ http://t.co/pkUAMXw6pm #onlinecommunities #reddit #amageddon #freespeech #Business http://t.co/PAWvNJ4sAP

3.删除停止词

停止词是一种对文本意义没有显著贡献的词。因此ÿ