爬虫的简要概括

1. 爬虫分为五个基本构架：
   调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。
   URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。
   网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)
   网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。
   数据存储器：用于将HTML解析器解析出来的数据通过文件或者数据库形式储存起来

2. 数据采集过程
   浏览器 (请求request)
   输入URL地址(http://www.baidu.com/）
   http协议确定， www.baidu.com访问的域名确定
   DNS服务器解析到IP地址
   确定要访问的网页内容
   将获取到的页面内容返回给浏览器（响应过程）

3. 爬虫的步骤
   （1）浏览器向DNS服务器请求解析该URL中的域名所对应的IP地址
   （2）解析出IP地址后，根据IP地址和默认端口，和服务器建立TCP连接
   （3）浏览器发出读取文件的http请求，该请求报文作为TCP三次握手的第三个报文的数据发送给服务器
   （4）服务器对浏览器请求做出响应，并把对应的html文件发送给浏览器
   （5）释放TCP连接
   （6）浏览器将该HMTL渲染并显示内容

4. TCP/UDP区别
   TCP协议是面向连接，保证高可靠性（数据无丢失，数据无失序，数据无错误，数据无重复达到）传输层协议
   UDP：数据丢失，无秩序的传输层协议（qq基于udp协议）

5. 迭代器与生成器
   迭代可迭代对象对应iter（方法）和迭代器对应next（方法）的一个过程
   生成器：包括含有yield这个关键字，生成器也是迭代器，调动next把函数变成迭代器。

6. 闭包
   必须有一个内嵌函数
   内嵌函数必须引用外部函数的变量
   外部函数的返回值必须是内嵌函数

7. Python是如何进行内存管理的
   （1）对象引用计数：
   引用计数增加的情况：
   来保持追踪内存中的对象，所有对象都用引用计数，一个对象分配一个新名称将其放入一个容器中（列表，字典，元祖）引用计数减少的情况：
   使用del语句对对象别名显示的销毁；
   引用超出作用域或被重新赋值；
   sys.getrefcount()函数可以获得对象的当前引用计数
   （2）标记-清除机制
   （3）分代技术