1. 用例
Web机器人是能够在无需人类干预的情况下自动进行一系列Web事务处理的软件程序。
2. 静态
2.1 Web爬虫
Web爬虫会递归的对Web站点进行遍历,获取Web页面。要避免循环和重复链接。
2.2 搜索引擎
使用最广泛的Web机器人是因特网搜索引擎,他可帮助用户找到世界范围内的任意主题的文档。
根据用户搜索,服务器后台查询数据,并把数据排序后返回给用户。
3. 动态
3.1 网络爬行
爬虫在Web上移动时,会不停的对HTML页面进行解析。它要对所解析的每个页面上的URL连接进行分析,并将这些连接添加到需要爬行的页面列表中。
3.2 机器人拒绝访问
如果一个Web站点有robots.txt文件,则机器人在访问这个Web站点上的任意URL之前,机器人必须获取他并对其进行处理。访问资源需要符合robots.txt制定的规则。