Python爬虫web请求过程剖析一
一,含义:通过编写程序模拟浏览器上网,然后让其去互联网抓取数据的过程.二,爬虫分类三,robots.txt协议: --君子协议.规定网站中哪些数据可以爬取,哪些不可以爬取http协议:就是服务器和客户端进行数据交互的一种形式常用请求头信息:User-Agent:请求载体的身份标识Connection:请求完毕后,是断开还是保持继续常用响应头信息:Content-Type:服务器响应回客户端的数据类型https协议:安全的超文本传输协议最终https采用的是证书密钥加密加密方式: 对称密钥加密;非对称密钥加密
原创
2022-06-28 23:33:03 ·
270 阅读 ·
0 评论