有NFS, haproxy/lvs等解决方案。
或者基于HDFS自己实现一个能提供多个客户端同时写Index的文件系统
为什么不用hadoop的HDFS?
原因有三:
1. HDFS多个client写同一个index. 但我们希望能够实现此功能,以达到并行建立索引的目的。
2. lucene的索引一般包括几种不同的文件。这些文件大多会比HDFS的64M块要小,所以用HDFS存储不是很有效。
3. 以后hadoop的底层可能会建立一个抽象层。这个抽象层可以适用于各种不同的存储方式(不光是HDFS)和并行处理服务。
另外,自己建立一个lucene特有的索引存储,可以加深对hadoop架构的认识。
基本设计
占个位先