第9章 Web机器人

1. 用例

Web机器人是能够在无需人类干预的情况下自动进行一系列Web事务处理的软件程序。

2. 静态

2.1 Web爬虫

Web爬虫会递归的对Web站点进行遍历，获取Web页面。要避免循环和重复链接。

2.2 搜索引擎

使用最广泛的Web机器人是因特网搜索引擎，他可帮助用户找到世界范围内的任意主题的文档。

根据用户搜索，服务器后台查询数据，并把数据排序后返回给用户。

3. 动态

3.1 网络爬行

爬虫在Web上移动时，会不停的对HTML页面进行解析。它要对所解析的每个页面上的URL连接进行分析，并将这些连接添加到需要爬行的页面列表中。

3.2 机器人拒绝访问

如果一个Web站点有robots.txt文件，则机器人在访问这个Web站点上的任意URL之前，机器人必须获取他并对其进行处理。访问资源需要符合robots.txt制定的规则。