"Hadoop在网盘和在线备份的应用与挑战"分享总结

概述：

此分享是关于Hadoop在网盘和在线备份的应用与挑战的汇总

 

汇总点：

前端应用负载均衡LVS/Ngnix/Jetty；
文件存储基于HDFS和MongoDB；
Hbase合理设计RowKey 和 Pre-Sharding；
Hbase充分利用Filter功能；
大文件基于HDFS，小文件基于MongoDB；
Hadoop的NameNode采取人工切换模式；

 

MongoDB遵循：

尽量创建索引；
限定返回结果条数；
Filter只返回需要的数据；
优化主键，尽量自己控制主健ID；
UUID主键使用BinaryData数据类型存储；
文件大小不超过16M；

 

更多详情参见附件