python爬虫--自学笔记

一 基本原理

       我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛 。 把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息 。 可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来了 。

二 爬虫过程

获取网页

向网站的服务器发送一个请求，返回的响应体便是网页源代码。

提取信息

最通用的方法便是采用正则表达式提取，这是一个万能的方法，但是在构造正则表达式时比较复杂且容易出错 。

保存数据

可以简单保存为 TXT 文本或 JSON 文本，也可以保存到数据库，如 MySQL 和 MongoDB 等 。

自动化程序