mongodb搭建校内搜索引擎——爬取网页文本

目标：
读取excle文档中存储的url列表，爬取列表中网页的文本内容

概要：
在已经在获得爬虫获取的url列表的工作基础上，进行网页内容的获取。编程用到request（获取网页源码），BeautifulSoup(解析html,并且获取网页纯文本)，lxml（解析html，在使用BeautifulSoup要预先安装），Xlrd(读取excle中内容)

我的思考：
一开始想用正则表达式来判断并且获的网页源码中的内容，但是发现自己的需求是获取所有纯文本的内容，刚开始接触爬虫时尝试过用，当你的需求是提取标题，或者特定单一的内容时，使用正则表示式还是可行的。考虑到我的要求是提取所有的文本内容，正则表达式就是比较局限，要考虑的情况较多，难免会有遗漏，所有去google有没有现有的python模块能干这种事。
果然，找到如下内容：

在这里附上BeautifulSoup的中文文档使用链接：
BeautifulSoup4.2.0中文文档
在这里我只是使用了最为简单的方法实现，BeautifulSoup不仅实现了我的需求，而且远比我想象的还要强大。

代码：