"360 HDFS下载平台介绍"分享总结

概述：

此分享是关于360 HDFS下载平台介绍的汇总

 

汇总点：

增加下载服务器（Nginx+DN）扩展单个集群的下载能力;
LVS确保单台下载服务器宕机丌影响集群的正常下载服务;
调度系统的健康检查机制确保集群宕后自劢切走流量;
HDFS 多数据副本机制确保硬盘的损坏丌影响服务器的正常下载服务;  
将获取容量使用情况方法由 du 改为 df ;

 

技术点：

lvs
nginx
hdfs
fuse

 

图解：

 

更多详情参见附件