URL 一般格式规范
协议://[username:password@]主机名[:端口号][/路径][;parameters][?query][#fragment]
我们可以看到只有 协议 和 主机名 两部分。
- 协议:一般常用的有 http https ftp(文件协议)、sftp、smb等
- fragment: 片段。它是对资源描述的一种补充。现在常用来 vue 的路由管理 或者 HTML 的锚点
(其余情况,太常见或者比较生僻用不到)
具体信息可以查看这里:Python 爬虫入门二之爬虫基础了解 | 静觅 (cuiqingcai.com)
HTTP请求过程
打开谷歌浏览器——F12工具
我们通过网络该模块可以清晰看到 网络的请求
如果要查看具体信息,我们可以点击 名称 ,可以看到请求地址等信息
代理
代理分类:(根据协议区分)
- FTP 代理服务器
- HTTP 代理服务器
- SSL/TLS 代理
- RTSP 代理
- Telnet 代理
- POP3/SMTP 代理
- SOCKS 代理
根据匿名程度区分:
- 高度匿名
- 普通匿名
- 透明代理
- 间谍代理