【简记】大规模Web开发技术（第五章）

第五章主题：大规模数据处理“实践”入门——应用程序开发的重点

第14课  特殊用途索引——处理大规模数据时

超出RDBMS 处理能力时怎么办?
.用批处理取出数据
·创建专用索引服务器，通过Web- API 等进行查询（？）

所建立的索引可以被称为特殊索引

特殊用途索引

定期取出数据

根据取出的数据创建数据结构
→搜索用的逆向索引

→关键字链接用的Tire等

eg1：生成关键字链接

如csdn博客中，会对每一篇博文中的关键字添加链接。现在使用了基于Trie 的正则表达式，实现了Common Prefix Search （公共前缀搜索）。

eg2：文本分类器

实现对文章的自动分类。

全文搜索引擎（九、十章中会详细说明）

第15课  理论联系实践

前面第2~5 章我们涉及了相当广泛的话题。这里做个小结。
①GB级别的数据处理
TB 级别、PB 级别与GB 级别又不相同
②内存的重要性
③以分布式为基础的运维
④选择恰当的算法和数据结构