python写爬虫的步骤,python数据爬虫的简单步骤怎么写？

我们都知道这个数据爬虫的概念，也只是这个是做什么的，什么原理，但是奇怪的是我们，只要自己去写内容的时候，便不知道如何去处理了。这是为什么呢？于是小编去咨询了好几个有问题的小伙伴，他们只会开头，在写到中间的时候，便不知道顺序了，因此，好几次都需要对照着别人的内容，去查找填写，下面小编给大家整理整个流程，供大家参考哈~

爬虫基本流程

1、发起请求

通过url向服务器发送requests请求，请求可以包含额外的header信息。

2、获取响应内容

如果服务器正常响应，那么将受到一个response，response即为我们所请求的网页内容，可能包含html\json\二进制数据(图片、视频)等。

3、解析内容

如果是html代码则可以使用网页解析器进行解析；如果是json数据则可以转换成json对象进行解析；如果是二进制数据则可以保存到文件进行进一步的处理。

4、保存数据

可以保存到本地文件，也可以保存到数据库(mysql\redis\mongodb等)。

5、requests请求

当我们通过浏览器向服务器发送requests请求时，这个request包含什么内容？可以通过chrome浏览器的开发人员工具(F12)查看。

6、请求方式

最常用的请求方式包括get请求和post请求。

7、uri统一资源定位符

一个网址、一个视频、一个图片都可以用uri去定义

8、requests headers

请求头，包括这次请求的类型，cookie信息以及浏览器类型等。

请求头在我们进行网页抓取的时候，服务器会通过解析请求头来进行信息的审核，判断请求是否为合法请求。所以当我们通过程序伪装浏览器进行请求的时候可以设置请求头的信息。

9、请求体

post请求会把用户信息包装在form-data里面进行提交，因此相比于get请求，post请求的Headers标签的内容会多出Form Data这个信息包。

10、response

响应状态：Headers中的General可以看到status code，使用数字代码表示对于状态，200表示成功，301跳转，404找不到网页，502服务器错误等。

11、响应头

包括内容的类型，cookie信息等。

12、响应体

请求的目的就是为了得到响应体，包括html代码，json及二进制数据等。

13、requests模块

安装使用pip install requests即可。

好啦，这就是如果你再变成爬取数据的时候整个代码内容了哦~大家可以制作个便签，在初次写爬取的时候，看下过程，这样可以增加下印象哦~