分布式系统的选型:
最近一个项目需要存储很多小文件,文件大小大约在200KB左右, 刚开始考虑是FastDFS和TFS,但是项目中需要用到异地备份的功能,FastDFS读写性能还是不错的,至少比TFS要好,可惜没有异地备份这块,TFS满足我们项目所有的功能,很想使用它,可阿里的东西,开源了就不去维护了,2015年就不更新了,并且社区也不活跃,问的问题没人回,资料文档少,用的公司也比较少,不想踩坑,所以找了好久关于FastDFS异地备份的工具,终于找到了这个叫做 rsync的工具,貌似是说支持异地备份。还没测试,准备试一下这个工具。
另外在选型的时候还考虑到阿里的OSS对象存储,貌似很不错,唯一的缺点就是收费,还有就是数据不是存储在自己的服务器上,总感觉不踏实,还有百度的BFS,mogileFS,这货都比FastDFS性能差很多,并且也不支持异地备份,Facebook的Haystack,貌似厉害,TFS就是借鉴Facebook设计的,可惜不开源。
其次,又提出了HDFS直接存图片,将小文件合并成大文件存到HDFS中,这需要设计的比较好,比较不太方便。
最后,我们准备测试FastDFS、TFS和HDFS这三款的实际性能,在具体选一种方案。
后续会将测试结果放上来,互相交流学习!!!!