1、HTTPS概念
HTTPS协议 = HTTP协议 + SSL/TLS协议
在HTTPS数据传输的过程中,需要使用SSL/TLS对数据进行加密和解密,需要使用HTTP对加密后的数据进行传输,所以,HTTPS是由HTTP和SSL/TLS一起合作完成的。
2、HTTP与HTTPS的区别
a、HTTPS加密传输协议,HTTP明文传输协议
b、HTTPS需要用SSL证书,HTTP不用
c、HTTPS标准端口443,HTTP标准端口80
d、HTTPS基于传输层,HTTP基于应用层
e、HTTPS浏览器显示绿色安全锁,HTTP没有这个显示
3、HTTPS的爬虫设置
HTTPS是有加密的,所以要对HTTPS开头的网站进行爬虫,需要添加一些东西
如下图所示,需要添加参数context,context的内容是SSL协议,添加这个之后可以对HTTPS的网站进行爬虫