Python爬虫第一个难关:HTTPS请求与响应

本文介绍了HTTP和HTTPS的区别,详细讲解了HTTP的请求和响应流程,特别是GET和POST方法。此外,还分享了如何使用Fiddler这款强大的Web调试工具,设置和抓取HTTPS流量,包括在Chrome中的应用,以及Fiddler界面各个部分的解释和实例。最后,简单提及了Cookie和Session在身份验证中的作用。
摘要由CSDN通过智能技术生成

1. HTTP和HTTPS

HTTP: 一种发布和接受HTML页面方法,端口号为80

HTTPS: HTTP的安全版,在HTTP上加入了SSL层,端口号为443

SSL: 用于Web的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全

Python爬虫:HTTPS请求与响应,以及抓包工具Fiddler的使用

 

 

网络爬虫可以理解为模拟浏览器操作的过程

浏览器的主要功能是向服务器发送请求,在浏览器窗口展示您选择的网络资源,HTTP是一套计算机通过网络进行通信的规则

1.1. HTTP的请求和响应流程:打开一个网页的过程

主要流程

 

Python爬虫:HTTPS请求与响应,以及抓包工具Fiddler的使用

 

 

1.2. URL

基本格式: scheme://host[:port]/path/.../[?query-string][#anchor]

scheme:协议, http,https

host: 服务器的IP地址或者域名

port#: 服务器的端口(如果是协议默认端口,缺省端口为80)

path : 访问资源的路径

query-string : 参数,发送给http服务器的数据

anchor : 锚(跳转到网页的而制定锚点位置)

2. 客户端HTTP请求

URL只是标识资源的位置,而

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值