爬虫的基本流程

1、发起请求：

通过url向服务器发起request请求，请求可以包含额外的header信息。

2、获取响应内容 ：

如果服务器正常响应，那我们将会收到一个response，response即为我们所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。

3、解析内容 ：

如果是HTML代码，则可以使用网页解析器进行解析，如果是Json数据，则可以转换成Json对象进行解析，如果是二进制的数据，则可以保存到文件进行进一步处理。

4、保存数据：

可以保存到本地文件，也可以保存到数据库（MySQL，Redis，Mongodb等）