python网络爬虫基础须知

---

hhtp基本原理

url和uri

统一资源标志符URI就是在某一规则下能把一个资源独一无二地标识出来。而url被成为统一资源定位符。URL是URI的子集。URI还有一个自己URN统一资源名称。
三者之间的区别：
以人的信息为例：你的身份证号码147258369是一个URI【urn】，但不是URL。因为虽然身份证号虽然代表你自己，但是确不能简单通过身份证号找到你这个人。你的地址【中国/xx省/xx市/xx县/xx大学/xx号宿舍楼/xxx号寝/法外狂徒张三】这个字符串可以找到你(排除特殊情况)，同样标识出了唯一的一个人。所以这个既是url也是uri

Http和Https

Http协议

超文本传输协议，是一个基于请求与响应，无状态的，应用层的协议，常基于TCP/IP协议传输数据，互联网上应用最为广泛的一种网络协议,所有的WWW文件都必须遵守这个标准。设计HTTP的初衷是为了提供一种发布和接收HTML页面的方法。HTTP 默认工作在 TCP 协议 80 端口，用户访问网站 http:// 打头的都是标准 HTTP 服务。

HTTPS

HTTPS是身披SSL外壳的HTTP。HTTPS是一种通过计算机网络进行安全通信的传输协议，经由HTTP进行通信，利用SSL/TLS建立全信道，加密数据包。HTTPS使用的主要目的是提供对网站服务器的身份认证，同时保护交换数据的隐私与完整性。HTTPS 默认工作在 TCP 协议443端口，它的工作流程一般如以下方式：