爬虫（一）爬虫原理和网页构造

网络连接

爬虫需要了解关于网络连接的知识不多，只需要知道最基本的连接原理即可。
如下图所示：

在客户端点开一个连接就会向服务器发送出一个请求，服务器就会向客户端返回相应的文件。
比如上网买东西。你下单了，就是发送一个请求（请求里携带着你的地址信息）给仓库，仓库就会发送相应的货物给你。而爬虫就是可以模拟你下单的动作，并且会自动处理仓库发送过来的货物。

爬虫原理

爬虫的原理就是模拟浏览器对目标网站发送请求，然后从网站返回的数据中提取有用的数据，并将有用的数据存放于数据库或文件中。
即如下三大步骤：
1.模拟计算器对服务器发起Request请求
2.接收服务器端的Response内容并解析、提取所需的信息
3.存储数据

多页面爬虫流程

有时候，我们所需要的信息不在同一个页面，而是分布在多个页面。当这些页面的URL存在一定的规律时，可以用到多页面爬虫。
多页面爬虫流程：
1.观察各页面的URL特点，构建出URL列表
URL：URL是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。就像是路径一样，在电脑上程序访问文件需要提供路径，只不过这些路径是在互联网上。
2.循环遍历URL列表，并调用爬虫函数
3.解析、提取所需的信息