集中式存储是目前中小企业广泛采用的方案，随着时间的流逝，这些存储不可避免的膨胀。集中式存储的弊端愈加显现，同步就是其中一个。


环境:

文件容量以TB计，里面是千万/亿级的小文件，分布在成千上万的子文件夹内。


分析：

rsync几乎是唯一选择，海量小文件同步面临的问题主要是rsync无止境的扫描，同步进度难以把控，巨大的临时目录等。所以解决办法只能是庖丁解牛，将一个大任务分解成N个小任务。


场景假设如下：


1、源服务器目录结构是按照年月日分布，示例如下

1
/www/p_w_picpaths/ 2014 / 04 / 30 /xxx.png


2、目标rsync服务器为 192.168.1.2::www，且可写。


解决办法：

很明显，同步最底层的目录最快。


1
2
3
4
5
6
find  /www/p_w_picpaths  \
     -mindepth 3 \
     -maxdepth 3 \
     - type  d \
     - exec  rsync  -aquR  {}/ 192.168.1.2::www /p_w_picpaths/  \; \
     - exec  echo  /www/p_w_picpaths/ {}  done  \;


注：-R 可解决远程rsync服务器的目录结构问题。


另一种方法是for循环，比较好理解。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/usr/bin/env bash
 
dir = "www/p_w_picpaths"
 
for  year  in   2014 2015 ; do
         for  month  in  ` seq  1 12`; do
                 for  day  in  ` seq  1 31`; do
                         if  [  -d /$ dir /$year/$month/$day ]; then
                                 rsync  -aqu /$ dir /$year/$month/$day/  192.168.1.2::$ dir /$year/$month/$day/
                         else
                                 echo  "directory /$dir/$year/$month/$day not exist."
                         fi
                 done
         done
done


集中式存储的缺点是: 必须提前做容量规划，存储严格控制在设计容量内之内，如果要扩展，必须重新进行容量规划。


要根本解决这个问题，终极的办法似乎只有分布式文件系统，用全新的设计理念的来解决存储问题,按需扩展。


可惜的是，目前的分布式文件系统几乎都是为大文件而设计，对于海量小文件支持都不够。ceph足够优秀，但是还不完全成熟。


本文出自 “专注Linux 运维” 博客，请务必保留此出处http://purplegrape.blog.51cto.com/1330104/1404981