当数据量较大访问量较大的时候,分布式就不可避免,我现在知道的处理方式有下面几种:
1,用一个好服务器作为索引服务器,磁盘冗余的方式保证搜索的正常进行;
2,索引服务器用一台,检索服务器用分布式;
3,编写索引算法,分布式存放,检索时采用多线程搜索合并搜索结果返回;
4,索引分布式存储用硬件的方式保证索引文件的同步,检索也采用分布式。
大概知道的就这几个,现在想知道还有没有更好的方法?或者大家在实际运用的时候有哪些改进。
我们为什么采用分布? 因为我们的索引太大了,太大的索引效率低,主要体现在更新和搜索上。
如何切分,保证其个体的完整性,唯一性,快速更新,快速搜索。
根据业务切分只是其中一种,适用范围比较广,所以我这么回答。
分布如何做好,看对搜索的要求,比如要求整个索引搜索要求多少时间内完成,搜索整体便于扩展,当中一服务器宕机,如何快速调整,承受高并发搜索,如何监视整个集群的运转,如何不断提升搜索。