爬虫原理篇流程方法概述

原理篇

---

一、爬虫的流程

1.发起请求，通过HTTP库向目标站点发起请求，及发送一个request，可以包含headers等信息

2.获取响应内容，如果正常响应，会得到一个response，其内容便是我们要获取的内容页面，可能有HTML，json,图片视频等格式内容

3.解析内容，若得到HTML，则使用正则，bs4等进行解析，若是json，直接转换为json对象解析，若是二进制数据，可以保存下来

4.保存数据，可以保存为文本，至数据库，或特定文件

---

二、Request

1.请求方式：

• get：请求的所有参数都包含在网址里面

• post：放在request中的form data里，也可以使用Ajax请求数据

• 其他方式不常用

2.请求的URL

• 统一资源定位符，一个网页文档，一张图片，一个视频等都可以用URL来唯一确定