Map Reduce 和反向索引

 前几天面试遇到一个问题，一个分布式系统的问题，把一个1TB的文件，分为100份，之后统计文件名和对应的热点词出现的频率。

这个问题显然用 Map Reudce 算法来解决，之后又问了如果，这些东西存到一个数据库中，如果出现索引过度集中情况怎么办，因为集群操作的话必然要进行数据交换，这就需要DML操作来封锁数据块，所以根据索引查询有时候就会被锁，造成性能下降。当时是一筹莫展，没遇到过这样的。后来面试官问道知道反向索引么？

我说不知道，面试官说好 那就别纠结这个问题了。

回来一查就知道原来反向索引就可以解决这个问题，先解释下啥叫反向索引，这东西有神马用！

首先得明确索引都是有序排列的。
而反向索引最大的用处是用在集群环境中的。试想这样一种情况，一个插入非常频繁的表A，在列ID存在一个索引INDEX_A_ID，假如索引的生成顺序是每次插入加1。如：
123
124
125
那么这几个索引键值非常非常大的可能是存储在一个数据块上的，而在集群环境中，数据块需要申请DLM锁来进行数据块的传递。
这样的话，问题就出来了，对于插入非常频繁的表，如果存在类似的索引，数据块在集群间的传递就非常频繁，这样的话肯定影响性能。
如果是反转索引的话，情况就明显不一样了，以上面的例子来说，翻转后，键值的顺序是：
321
421
521
这几个键值存在一个数据块的可能性大大降低了。因此数据块的在集群间的传递争用就会消失。我现在所维护的双节点RAC，前段时间有几个索引一直出现在AWR中（哪个部分我忘了，记不清了），就是因为上面的情况，建立了反转索引后，彻底消失了。
但反向键索引也有它局限性：如果在WHERE语句中，需要对索引列的值进行范围性的搜索，如BETWEEN、<、>等，其反向键索引无法使用，这个时候，Oracle将执行全表扫描；只有对反向键索引列进行 <> 和 = 的比较操作时，其反向键索引才会得到使用。

看到哦反向索引的作用了吧，就是把索引给打散到不同的数据块，当集群传输信息的时候不会因为索引过度集中造成DLM锁进行传递的数据块。

原来如此 。。。。。。。。。。。