基础篇-爬虫基本原理

最新推荐文章于 2024-02-01 10:16:49 发布

蔡小鱼儿

最新推荐文章于 2024-02-01 10:16:49 发布

阅读量164

点赞数

分类专栏：网络爬虫

网络爬虫专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文为自己动手，丰衣足食！Python3网络爬虫实战案例的学习笔记，部分图片来源于视频截图。

爬虫：请求网站，并提取数据的自动化程序请求网站，并提取数据的自动化程序

爬虫基本流程

在了解爬虫的定义之后，那么再来看看爬虫是如何工作的吧。
第一步：发起请求。一般是通过HTTP库，对目标站点进行请求。等同于自己打开浏览器，输入网址。
第二步：获取响应内容（response）。如果请求的内容存在于服务器上，那么服务器会返回请求的内容，一般为：HTML，二进制文件（视频，音频），文档，Json字符串等。
第三步：解析内容。对于用户而言，就是寻找自己需要的信息。对于Python爬虫而言，就是利用正则表达式或者其他库提取目标信息。
第四步：保存数据。解析得到的数据可以多种形式，如文本，音频，视频保存在本地。

爬虫基本流程

请求与响应

爬虫最主要的任务就是发起请求(Request)，然后获取服务器的响应(Response)。

请求与响应

Request所包含的信息：
爬虫的第一步就是发起请求，请求包括如下内容：

请求方式：主要有GET,POST两种类型，另外还有HEAD,PUT,DELETE,OPTIONS等。
GET特点：请求的参数全部包含在请求的网址内。
POST特点：需要构造Form Data才能发起请求
请求URL：URL的全名是统一资源定位符。网络上的一切资源都是位于服务器的某一个位置，而URL就是告知浏览器去哪里获取这些资源。
请求头：请求头（header）就是告诉服务器你是谁，包括User-gaget,Host,Cookies等信息。添加请求头信息，保证请求合法
请求体：请求时包含的额外数据，如POST请求需要输入的表单数据，一般用于模拟登陆。

什么是请求

console中的request

Response所包含的信息
向服务器发出请求后，不出意外，服务器就会返回一个响应（response）。包括如下内容：

响应状态：用于表示请求的结果，如200代表成功，404找不到页面，502服务器错误等。
响应头：如内容类型，内容长度，服务器信息，设置Cookie等等
响应体就是网页源代码，也就是用于解析数据的部分。
访问网页遇到的第一个文件一般都是document形式，都是网页源代码。然后解析内部的超链接，继续发起请求。

响应内容

console中的response

代码部分：

# 导入请求库
import requests
# 请求网页
response = requests.get('http://www.baidu.com')
# 查看响应体内容
print(response.text)
print(response.content)
print(response.headers)
print(response.status_code)