网络爬虫技术快速入门

网络爬虫技术快速入门

一、爬虫流程

我们可以把它概括为四步：

1. 发起请求
2. 获取响应内容
3. 解析响应内容
4. 保存数据

二、请求和响应

Web内容都是存储在Web服务器上的。Web服务器所使用的是HTTP协议，因此经常被称为是HTTP服务器。这些HTTP服务器存储了因特网中的数据，如果HTTP客户端发出请求的话，它们会提供数据。客户端想服务器发送HTTP请求，服务器会在HTTP响应中回送所请求的数据。

三、Web客户端和服务器

每个Web服务器资源（比如，图片，视频，网页等等）都有一个名字，这样客户端就可以说明它们感兴趣的资源是什么了。服务器资源名被称为统一资源标识符。URI就像因特网上的邮政地址一样，在全世界范围内唯一标识并定位信息资源。统一资源定位符（URL）是资源标识符最常见的形式。URL描述了一台特定服务器上某资源的特定位置。

1. URL