19. web root (2)

9.3 行为不当的机器人

---

9.4 拒绝机器人访问

9.4.1 拒绝机器人访问标准

9.4.2 web 站点和 robots.txt 文件

9.4.3 robots.txt 文件的格式

9.4.7 HTML 的 robot-control 元标签

---

9.5 机器人规范

---

9.6 搜索引擎

9.6.1 大格局

9.6.2 现代搜索引擎结构

9.6.3 全文索引

9.6.4 发布查询请求