一个用Python实现的多入口全网爬的多线程爬虫的实现

最近做计网大作业，要求实现一个爬虫抓取网络上关于人工智能的有关信息，于是就自己diy了一个，然后丢到服务器上跑，勉勉强强能达到十万级的数据量，也算能交差了。

下面就把实现过程记录一下，一来可以做个笔记，以免以后忘了怎么做，二来可以给有这方面困扰的人提供一点思路。

说到爬虫，要解决的无疑就那么几个问题：爬，取，过滤。

爬

先来说说爬，这就是一个搜索的过程，可以通过各种搜索算法来实现，这里用的是bfs，原理也很简单，找最短路嘛。起点就是我们提供的入口url列表，可以多选几个不同的网站，提供多样性，如：

#入口url列表
urls = [
		'http://www.ailab.cn/news/ainew/',
		'http://news.chinaso.com/search?wd='+request.quote('人工智能+行业'),
		'https://www.baidu.com/s?ie=utf-8&cus_sid=18364444163281065044&tn=SE_pscse_053x7tyx&wd=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%20%E8%A1%8C%E4%B8%9A'
		'http://search.ifeng.com/sofeng/search.action?q=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD+%E8%A1%8C%E4%B8%9A&c=1&chel='
		'http://search.southcn.com/web/search?channelid=216505&&searchword=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%20%E8%A1%8C%E4%B8%9A',
		'https://www.baidu.com/s?ie=utf-8&cus_f=0&wd=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%01%E8%A1%8C%E4%B8%9A&tn=71032170_cpr&rsv_lu=3_sb&si=china.com&ct=2097152&fenlei=mv6qUAdxTZPxTvb0IZRqIHDLnjmdnWc0T1YYPARYrHN-nAR4uhD1uHTL0AGo5HmLPH7hP1u9PHD4Pj9bnhm0IAYqnWm3PjfkPHRz0APh5Hn0Thcqn0K_