Python爬虫学习二爬虫基础了解

1.什么是爬虫

爬虫就是进入网页自动获取数据的程序。当它进入一个网页时，将网页上需要的数据下载下来，并跟踪网页上的其他链接，进入新的页面下载数据，并继续跟踪链接下载数据。

2.URL

URL，即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的 URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它

URL由三部分组成：资源类型、存放资源的主机域名、资源文件名。
也可认为由4部分组成：协议、主机、端口、路径
URL的一般语法格式为：
(带方括号[]的为可选项)：
protocol 😕/ hostname[:port] / path / [;parameters][?query]#fragment