python爬虫基础-概述

学习了基础的爬虫知识，将知识架构整理出来和大家分享，作为对已经学习过的知识框架的回顾和复习，同时也是一种查漏补缺，更加完善自己的知识体系。

首先，从概念的角度，什么是爬虫，或者说爬虫是用来做什么的。我想，数据相关产业的资深人士会有更深的理解，而作为一个入门者，需要知道的是，爬虫是一个程序，一个怎么的程序。如果互联网是一张大网，它所呈现出来的东西就是我们看到的网上面的线条，而爬虫就是那个将网上的线条获取到的东西。简言之，就是将网上我们看到的内容自动获取出来，从而可以为我们所利用。

当然，无论提到一个什么东西，我们都喜欢分类，因为本身很多事物都是有联系的，我们喜欢把一个东西和另外的东西归纳到一起。爬虫也有很多分类，根据爬取的网页类型或者是爬虫的性能，我们给爬虫分类，例如动态爬虫，静态网页爬虫，单线程，多线程爬虫。这里略过。

其次，从技术的角度，爬虫到底扮演着一个怎样的角色。总体来说，爬虫是一个请求者，通过模拟浏览器向特定的网址请求数据，网址返回我们需要的数据。也就是关注的是网页的请求和数据的处理。

请求一般的网页使用的是HTTP协议，部分有HTTPS，其实本质上也是HTTP，只是添加了证书的认证。

数据的处理分为2部分，数据的存储和数据的解析。数据存储分为临时数据的存取和持久数据的存储。临时的数据存储在数据结构中，而持久数据则存在数据库中。而数据的解析则使用正则表达式或者是第三方的解析工具，例如lxml。

这样一个大致的知识结构就出来了，主要是四部分，http，python数据结构，数据库，正则表达式（包括第三方解析工具）。