URL概念及组成结构
在开始爬虫的开发实战前,需要了解的是URL的概念及组成结构,这具有基础性和必要性。
URL(Uniform Resource Locator,统一资源定位符)是用于在互联网上定位和标识资源的字符串。它提供了一种标准的方式来指示资源的位置和访问方式。
例如:https://blog.csdn.net/2301_77485708
就是一个URL。通过URL,我们可以方便地定位和访问互联网上的各种资源,例如网页、图片、视频等。
URL的组成结构如下:
【1】协议(Protocol):URL的第一部分是协议标识符,它指定了访问资源时要使用的协议类型,如HTTP、HTTPS、FTP等。HTTP在文章后面会讲到
【2】主机名(Host):主机名指定了存放资源的服务器的域名或IP地址。例如,www.example.com 或 192.168.0.1。
【3】端口号(Port):端口号是可选的,用于指定特定服务的端口号。如果未指定,默认使用与协议相关的默认端口号(如HTTP的默认端口号是80)。
【4】路径(Path)