一、爬虫的三个步骤(要学习的内容)
1、获取网页内容 (HTTP请求、Requests库)
2、解析网页内容 (HTML网页结构、Beautiful Soup库)
3、存储或分析数据
b站学习链接:
二、HTTP
1、什么是HTTP?
http: Hypertext Transfer Protocol(超文本传输协议)
客户端和服务器之间的请求-响应协议
eg: 浏览器可看作一个服务端,在浏览器中输入网址,
浏览器就会向运行该网站的服务器发送请求,
然后等待服务器返回给浏览器响应
2、HTTP的两种请求方法
1、GET(获得数据)
大部分用get
2、POST(创建数据)
3、HTTP请求的组成结构
(1)请求行:
POST / user / info ? new_user=true HTTP / 1.1
方法类型 资源路径?查询参数 HTTP的协议版本
资源路径:指明要访问服务器的哪个资源
查询参数:写在?后面,传递给服务器额外的信息,不同信息之间用&分隔
eg: www.douban.com / movie /top250 ?start=75&filter=unwatched
主机域名 (+资源路径)(+查询参数)== 网址
(2)请求头:
Host: www.douban.com 主机域名
User-Agent: curl /7.77.0 用来告知服务器客户端的相关信息
请求是什么东西发出来的,以及这个东西的版本
eg: curl / 7.77.0(curl命令行工具发出的)
python-requests / 2.25.1 (python的requests库发出的)
Accept: */* 告诉服务器,客户端想接收的响应数据的类型
eg: 接受HTML:text / html
接受HTML和JOSN:text / html, application / json (多种类型用逗号分隔开)
接受任意类型:*/*
(3)请求体:客户端传给服务器的其他任意数据
(GET的请求体一般是空的)
{"username":"西瓜大侠",
"email":"3380958706@qq.com"}
简言之,HTTP请求由三部分组成:
请求行:用什么方法查询什么资源 + HTTP的版本
请求头:主机域名 + 客户端是什么及其版本 + 客户端想接受的响应类型
(where who what 服务器在哪儿 客户端是谁 客户端想要什么)
请求体:客户端的其他数据
4、HTTP响应的组成结构
(1)状态行:
HTTP / 1.1 200 OK
协议版本 状态码 状态消息
状态码和状态消息相对应:
2开头:表示请求成功
3开头:表示重定向,需要进一步的操作
4开头:表示客户端错误(请求不能被理解、请求未授权或404请求的资源不存在...)
5开头:表示服务器错误(出现问题或正在维护)
(2)响应头:包含一些告知客户端的信息
Date: Fri, 27 Jan 2023 02:10:48 GMT 生成相应的日期和时间
Content-Type: text/html; charset=utf-8 返回内容的类型及编码格式
(3)响应体:服务器想给客户端的数据内容