本节内容将根据个人学习经历讲讲Python爬虫学习中需要了解的网页结构
目录
介绍HTTP协议和HTTPS协议
简单了解HTTP，HTTPS以及URL
什么是网络协议？
网络协议：在网络十分混乱的时候，就像是一个人说中文另一个人说外语，互相听不懂对方的语言，所以网络协议应运而生
HTTP和HTTPS协议是我们日常生活中常见的两种协议，两者的均是超文本传输协议，但是HTTPS比HTTP要更加安全。
通常：HTTP协议的端口号为80，HTTPS协议的端口号为443
URL结构组成
url的组成主要有一下几个：
Scheme——代表访问的协议
Host——主机名，域名，如：www.baidu.com
Port——端口号，浏览器默认80端口
Path——查找路径，如：www.jianshu.com/trending/ 中的trending/now就是path
Query-string——查找字符串如：www.baidu.com/s?wd=python 后面的wd=python就是
Anchor——锚点，前端用来页面定位。现在一些前后端分离项目，也用锚点来导航
注意：在浏览器请求一个URL，浏览器会自动对URL进行编码，除了英文字母，数字和部分符号外，其他的全部用#+十六进制编码值编码
HTTP的请求
简单介绍HTTP，HTTPS关于请求的简单信息
请求方式
一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。
向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用post请求。 以上是在网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬虫机制，也经常会不按常理出牌，有可能一个应该使用get方法的请求就一定要改成post请求，这个要视情况而定。
==================以上两种为最常用的方法，下面六种稍作了解即可==================
head请求
类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头。
put请求
从客户端向服务器传送的数据取代指定的文档的内容。
delete请求
请求服务器删除指定页面。
connect请求
HTTP/1.1/协议中预留给能够将连接改为管道方式的代理服务器。
options请求
允许客户端查看服务器性能。
trace请求
回显服务器收到的请求，主要用于测试或诊断。
请求头参数
浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的User-Agent就是Python，这对于那些有反爬虫机制的网站来说，可以轻易的判断你这个请求是爬虫。因此我们要经常设置这个值为一些浏览器的值，来伪装我们的爬虫。
表明当前这个请求是从哪个URL过来的。这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相关的响应。
HTTP协议是无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用cookie来做标识。一般如果想要做登录后才能访问的网站，那么就需要发送cookie信息了。
常见的响应状态码
200：请求正常，服务器正常的返回数据。
302：临时重定向。比如在访问一个需要登录的页面的时候，而此时没有登录，那么就会重定向到登录页面。
301：永久重定向。比如在访问www.jingdong.com 的时候会重定向到 www.jd.com（现在没了）
400：请求的URL在服务器上找不到。换句话说就是请求URL错误。
403：服务器拒绝访问，权限不够。
500：服务器内部错误。可能是服务器出现bug了。
Chrome抓包工具
其他浏览器也含有相应的抓包工具，如:edge浏览器等等
Elements：
可以帮助我们分析网页结构，获取我们想要的数据。但是Elements下是最终呈现的网页数据，有时候网页数据是通过ajax请求得到的，因此Elements下的数据不能完全相信。
Console：
用来打印网页的一些信息。
Sources：
整个网页所加载的所有文件。
Network：
查看整个网页发送的所有网络请求。一般我们想要去查看某个请求的信息，都可以到这个里面去看。
详细见下图：
1088
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
