[爬虫01]爬虫基础

URL 一般格式规范

协议://[username:password@]主机名[:端口号][/路径][;parameters][?query][#fragment]

举个例子：https://www.baidu.com/

 我们可以看到只有 协议 和 主机名 两部分。

1. 协议：一般常用的有 http https ftp(文件协议)、sftp、smb等
2. fragment: 片段。它是对资源描述的一种补充。现在常用来 vue 的路由管理 或者 HTML 的锚点

（其余情况，太常见或者比较生僻用不到）

具体信息可以查看这里：Python 爬虫入门二之爬虫基础了解 | 静觅 (cuiqingcai.com)

 HTTP请求过程

打开谷歌浏览器——F12工具

 我们通过网络该模块可以清晰看到 网络的请求

 如果要查看具体信息，我们可以点击 名称 ，可以看到请求地址等信息

 代理

代理分类：(根据协议区分)

1. FTP 代理服务器
2. HTTP 代理服务器
3. SSL/TLS 代理
4. RTSP 代理
5. Telnet 代理
6. POP3/SMTP 代理
7. SOCKS 代理

根据匿名程度区分：

1. 高度匿名
2. 普通匿名
3. 透明代理
4. 间谍代理

多线程

1.参考文章：Python 爬虫进阶五之多线程的用法 | 静觅 (cuiqingcai.com)

2.Python 爬虫进阶六之多进程的用法 | 静觅 (cuiqingcai.com)