爬虫基础-爬虫的基本原理

爬虫就是代替人类的手工来自动化的采集页面数据的程序

蜘蛛和互联网，爬虫在互联网上穿行，互联网上的一个个节点对应着一个个网页，当这些虫子从一个节点爬到另一个节点时，就像从一个网页的链接跳转到另一个网页。

爬虫工作的完整流程

1. 获取网页：你必须确定你要获取的资源存在哪一个网页当中，你要做的就是得到资源存在页面的源代码，只要你拿到了源代码就能得到自己想要的数据。我们当然不必手动的去采取网页的源代码，Python中提供了这样的模块，例如Requests，和urllib。
2. 提取信息：从网页中精准的定位自己想要的数据资源，然后把他们抽出来。常用的工具是xpath，正则表达式。Python提供的库包括;Beautiful soup,lxml,pyquery等。
3. 持久化存储：你想存哪就存哪，可以是你的数据库，可以是桌面上的一个文件夹，也可以是你的远程服务器中的硬盘。

注意：常见的情形是我们对一个网页发送请求，然后我们从Response中得到了网页源码，可实际上也有可能得到一个json串。此时我们需要一些特别的工具来解析它们。

随着时间的推移，越来越多的网站将会采用js渲染，ajax异步的操作来制作网页，我们对于一个采用js渲染的网页发送请求，只能得到一个空壳的Response。

名词解释：Ajax，Ajax 即“Asynchronous Javascript And XML”（异步 JavaScript 和 XML），是指一种创建交互式、快速动态网页应用的网页开发技术，无需重新加载整个网页的情况下，能够更新部分网页的技术。也就是说，如果你要得到的资源采用了ajax技术，你就不能采用获取整张网页的源码然后再定位解析的方式，而是要找出Ajax部分的链接，再发送请求，这个链接不会和当前网页的链接相同