1. HTTP和HTTPS
HTTP: 一种发布和接受HTML页面方法,端口号为80
HTTPS: HTTP的安全版,在HTTP上加入了SSL层,端口号为443
SSL: 用于Web的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全
网络爬虫可以理解为模拟浏览器操作的过程
浏览器的主要功能是向服务器发送请求,在浏览器窗口展示您选择的网络资源,HTTP是一套计算机通过网络进行通信的规则
1.1. HTTP的请求和响应流程:打开一个网页的过程
主要流程
1.2. URL
基本格式: scheme://host[:port]/path/.../[?query-string][#anchor]
scheme:协议, http,https
host: 服务器的IP地址或者域名
port#: 服务器的端口(如果是协议默认端口,缺省端口为80)
path : 访问资源的路径
query-string : 参数,发送给http服务器的数据
anchor : 锚(跳转到网页的而制定锚点位置)
2. 客户端HTTP请求
URL只是标识资源的位置,而