网络爬虫教程（1）

网络爬虫定义：

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

 

URI:

web上每一种可用的资源，html、图片、视频都是由universal resource identifier 进行定位。

 

URI通常由三部分组成：

①访问资源的命名机制；

②存放资源的主机名；

③资源自身 的名称，由路径表示。

例如： http://www.google.com/test/source

http协议进行访问

主机名：www.google.com

资源路径名： /test/source

 

URL为URI的一个子集

通俗理解为URL为Internet上描述信息资源的字符串。

 

URL的格式由三部分组成： 

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址，如目录和文件名等。

第一部分和第二部分用“://”符号隔开，

第二部分和第三部分用“/”符号隔开。

第一部分和第二部分是不可缺少的，第三部分有时可以省略。 

 

例如：

http://www.aol.com/lifestyle/?icid=gnavbar_living_main5

 

ftp://202.115.7.189/2010.11.22%20IBM%20training/

 

爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它 进行进一步的处理。

因此，准确地理解URL对理解网络爬虫至关重要。