如何用Python清理文本数据？

不是所有数据格式都会采用表格格式。随着我们进入大数据时代，数据的格式非常多样化，包括图像、文本、图形等等。

因为格式非常多样，从一个数据到另一个数据，所以将这些数据预处理为计算机可读的格式是非常必要的。

在本文中，将展示如何使用Python预处理文本数据，我们需要用到 NLTK 和 re-library 库。

多人学习python，不知道从何学起。

很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。

很多已经做案例的人，却不知道如何去学习更加高深的知识。

那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤

QQ群：1057034340

过程

1.文本小写

在我们开始处理文本之前，最好先将所有字符都小写。我们这样做的原因是为了避免区分大小写的过程。

假设我们想从字符串中删除停止词，正常操作是将非停止词合并成一个句子。如果不使用小写，则无法检测到停止词，并将导致相同的字符串。这就是为什么降低文本大小写这么重要了。

用Python实现这一点很容易。代码是这样的：

# 样例 
x = "Watch This Airport Get Swallowed Up By A Sandstorm In Under A Minute http://t.co/TvYQczGJdy" 
# 将文本小写 
x = x.lower() 
print(x) 
>>> watch this airport get swallowed up by a sandstorm in under a minute http://t.co/tvyqczgjdy 

2.删除 Unicode 字符

一些文章中可能包含 Unicode 字符，当我们在 ASCII 格式上看到它时，它是不可读的。大多数情况下，这些字符用于表情符号和非 ASCII 字符。要删除该字符，我们可以使用这样的代码：

# 示例 
x = "Reddit Will Now QuarantineÛ_