Python爬取特朗普就职演讲稿，使用ngram模型进行数据清洗

利用Python爬取特朗普英文就职演讲稿，并使用ngram模型进行数据清洗处理

---

  互联网络上数据十分丰富，我们可以利用网络爬虫技术轻松获取到这些数据，但是获取的数据往往不像我们学习爬虫时那样样式规范的数据。在网络数据采集中，不可避免地会遇到样式不规范的数据，而且无法对数据集进行挑剔，所以掌握数据清洗的方法十分必要。
  本文主要内容是利用Python从网页上爬取格式混乱的英文讲稿，然后将数据进行清洗，最后按照ngram模型来分词组。最终实现将输入的杂乱文章输出为格式规范的词组。

ngram模型：ngram是语言学的一个模型，表示文字或语言中的n个连续的单词组成的序列。

爬取链接http://www.guancha.cn/america/2017_01_21_390488_s.shtml

下面是Python程序代码：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re