python爬虫架构

点开这篇博客的人，几乎都多多少少写过爬虫或者用过python。在此梳理下python爬虫的概念与框架，敬请指点。
（一）、了解网络爬虫之前，我们先来了解下搜索引擎的工作原理：
做过网页的人都明白，网络上HTML文档使用超链接连接了以来，把这些虚拟化的东西可以形象成一张网，也就是万维网。当你在搜索引擎中输入关键字的时候，就相当于放出了很多的网络爬虫。别忘了，你的电脑正处于万维网的一个节点（一个网站），而你输入的关键字正指定了一系列的网站。也就是所说的url，而关键字与url的索引，正是有爬虫建立的。这些索引经过了一系列的排序算法才呈现在我们的面前。简单的说，就是我们输入关键字，放出爬虫，爬虫将关键字与相对的网站建立索引，然后经过复杂算法排序呈现出来。只不过这些索引有的早就已经建立完成了，所以我们输入关键字后才会那么快出来网站。
（二）、知道了网络爬虫的概念，再来了解下网络爬虫的原理。知道了这些大致的原理，我们才会在写爬虫的时候有全局观念。
上面所说，url对应了一个网页，既然是网页，就会有相应的HTML页面。网络爬虫会把这个HTML页面全部抓下来，也页面是字符串。也就是说网络爬虫会把字符串抓下来，然后解析这些字符串，有的字符串解析成图片，有的解析成电影的网址（也就是我们所说的种子！），总而言之会把文本信息提取出来。而这些文本信息保存在你的电脑运行内存里，并非磁盘，如果想要留下来，只需要保存，就可以把相应的文本信息存下来，这就是爬虫最可怕的地方。因为爬取url和解析文本的时间极短，比你点击鼠标的时间短得多，简单来说，网速正常的情况下，单线程的爬虫，一分钟下载数百张的图片不是问题。
（三）、我们来了解下为何使用python来写爬虫：
首先，python是脚本语言，这一点是C，C++，java等比不上的，最简单来说，python执行不需要编译，写一行执行一行，知道有错误的地方才会停止运行。它不需要申请太大的进程空间，所以运行效果很好。
其次，python有很强大的库，只要import，就可以运行，不需要与库函数再进行链接，这一点C，C++比不上。当然C、C++也有python没有的优点，因为今天python主场，不再讨论。
最后，python书写的语法很简单，正则表达式更是简介到不可思议，她还有很好的缩进，使得再多的代码也会显得简洁明了。
（四）、写python前，我们需要了解下python如何访问网络。
使用过python的人都了解，python自带了很强大的库，而这些库里面又包含很多函数模块。python