URL组成

最近开始接触爬虫了，在接触爬虫之前我们先来说说什么是URL

1.这里我首先举一个URL例子

http://www.aspxfans.com:8080/news/index.asp?boardID=5&ID=24618&page=1#name

2.http:

http代表的是协议，发ftp等协议都是满足的

3.www.aspxfans.com

根据域名可以根据DNS解析到ip地址，这里域名亦可以直接填ip地址，只要能找到对应的电脑主机即可

4.8080

8080是访问主机的端口，找到主机后要进入主机就需要端口了，端口就像是电脑主机的门

5.news/index.asp

这个是URL的虚拟路径，注意这里不是存放文件的路径，根据django的Url映射就知道，index.asp是文件部分，若省略则使用默认文件名

6.name

#后面的URL锚，关于锚就是界面可以直接跳转的地方，具体的参照html相关知识

7.boardID=5&ID=24618&page=1

?和#之间的部分是参数部分，参数很有讲究，比如

http://www.baidu.com/s?wd=关键字&cl=3
cl(Class)：搜索类型，cl=3为网页搜索，cl=2为图片搜索；

参数种类很多，作用估计是搜索引擎是搜索内容更加智能化

总结：

url就是要找到网络主机上内容，我将它分为三部分

一部分分是在某种协议下再到主机的虚拟文件路径，即开始到？之间内容

         http://www.aspxfans.com:8080/news/index.asp

二部分是参数部分？和#之间

        boardID=5&ID=24618&page=1

三部分是锚

      name