利用Python爬取特朗普英文就职演讲稿,并使用ngram模型进行数据清洗处理
互联网络上数据十分丰富,我们可以利用网络爬虫技术轻松获取到这些数据,但是获取的数据往往不像我们学习爬虫时那样样式规范的数据。在网络数据采集中,不可避免地会遇到样式不规范的数据,而且无法对数据集进行挑剔,所以掌握数据清洗的方法十分必要。
本文主要内容是利用Python从网页上爬取格式混乱的英文讲稿,然后将数据进行清洗,最后按照ngram模型来分词组。最终实现将输入的杂乱文章输出为格式规范的词组。
ngram模型:ngram是语言学的一个模型,表示文字或语言中的n个连续的单词组成的序列。
爬取链接http://www.guancha.cn/america/2017_01_21_390488_s.shtml
下面是Python程序代码:
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re