爬虫基础————ip地址和url详解

（学习慕课网bobby老师的课程从零起步 系统入门Python爬虫工程师时做的笔记，有兴趣的同学可以去慕课网观看视频。）

 

 

1.ip地址

•  整个网络传输可以比作快递，数据就是快递包裹

  会经过一系列中转站，分包捡包等操作，最后才送到客户手中

•  Ip地址就是门牌号

  对整个互联网来说，只认ip地址，所以在访问url时，要先转化成ip地址。再通过ip地址在互联网上任意传输。

2.动态ip和静态ip

   ———————为什么服务器不会随便封ip和通过ip段封ip

  Ipv4地址格式： xxx.xxx.xxx.xxx（10进制）, 总长度是32位(2进制)，长度是有限的，怎么才能接入更多的联网设备呢？

在cmd中输入ipconfig可以查看自己电脑的Windows IP 配置：

里面的 192.168.43.175 是本地局域网的ip地址，出了路由器之外的网都无法连接，相当于这个地址只被我的电脑连接的路由器识别，在我路由器连接的所有电脑之间是可以识别的。在连接外网时，会动用路由器对外的ip。

很多网段，特别是家庭路由器网段都是默认的192.168网段，这就可以使得更多的联网设备可以连接到网络上，而不会使用过多的ip地址。

  动态IP：若分配一个ip后不变化，这样ip地址很快就会用完，动态ip就是分配一个ip地址后，还会回收这个ip地址，再用的时候再分配，是根据需要动态分配的过程，ip地址不稳定，做不了服务器。

静态ip：稳定的ip地址，需要购买，可以搭建服务器。

所以是不会随便封ip的，因为大多数人使用的是动态ip来访问的。

3.url是什么

  uniform resource locator：统一资源定位符

  每一个url指向一个独特的资源，可以是一个html页面、一个css文档、一个图片、文件、js文件等。

4.url协议

• 几个url地址

    https://developer.mozilla.org

    https://developer.mozilla.org/en-US/docs/Learn/

    https://developer.mozilla.org/en-US/search?q=URL

• url格式

    http://www.example.com:80/path/to/myfile.html?key1=v1&key2=v2#maodian

   

实现的协议；哪个ip地址上；ip地址对应的哪个应用程序；访问具体哪个资源；访问参数；访问锚点

协议：常用协议：http、https、file、ftp

域名：可以看做是ip地址的别名，此处也可以直接填写ip地址

端口：:80端口指的就是http协议默认的应用，也可以启动到别的端口上，不写的时候是80端口，如果是其他的端口就必须要有端口号

路径：想要访问myfile.html页面

？：？之前都可以定位到想要访问的资源

想要做一些过滤的话，通过参数来及进行：

参数：两个参数：key1=v1,key2=v2,用&连接

锚点：在同一页面内可跳转到想要查看的内容的地方（比如一个页面内的目录）

相对url 与绝对url : 绝对URL和相对URL

把协议去掉，从后面部分来看就是相对url，直接输入浏览器里也可以访问，浏览器会默认分配协议；

如果协议、域名、端口都不要，在浏览器里输入后面部分是没法访问的；

但若在html里做跳转的话：href里不是完整的url（path路径），但依然可以访问，浏览器会自动将域名加上，如果href里url前面没有“\”时，会在当前的url后面加，而不是在本该放域名的地方加。