Fastdfs文件系统删除重复的文件
问题:fastdfs文件系统磁盘空间疯狂扩展。
原因:fastdfs产生了很多的文件备份,要找到重复文件,排除在使用的文件删除其他的文件。
根源可能是程序反复上传原因,开发进行跟中
删除不需要文件思路:
1、查看文件重复情况
2、列出所有文件系统文件,和从数据库找到所有在用的文件名称
3、处理fastdfs导出的所有的文件路径名称 和 数据库导出名称格式一样
4、比对fastdfs和数据库的名称,找出没有在数据库中的文件名称
5、根据比对结果找到fastdfs的文件路径,进行删除
1、找到所有文件,并通过md5查看重复情况
find /data/fdfs_storage/data -type f -name “*.jpg” > /tmp/all.txt #找出所有文件
for i in `at /tmp/all.txt`;do md5sum $i >> /tmp/all_md5.txt;done #查出文件的md5值
uniq -c /tmp/all_md5.txt|sort -n -r #去重查看重复文件数
2、fastdfs 文件名称/tmp/all.txt ,数据库文件名称 /tmp/sjk.txt
cat /tmp/all.txt|awk -F / ‘{print $7}’ >> /tmp/all_fastdfs.txt #处理fastdfs文件和数据库文件一样
sort /tmp/all_fastdfs.txt >> /tmp/all_fastdfs_new.txt #对fastdfs文件进行排序
sort /tmp/sjk.txt >> /tmp/sjk_new.txt #对数据库文件进行排序
comm /tmp/all_fastdfs_new.txt /tmp/sjk_new.txt -2 -3 >> /tmp/fastdfs-sjk.txt #fastdfs文件排除数据库的文件,这些文件是要删除的文件
3、找出这些文件并删除
for i in `/tmp/fastdfs-sjk.txt`;do grep $i /tmp/all.txt > /tmp/delete-fasts.txt;done #找出文件路径
for i in ` /tmp/delete-fasts.txt`;do rm -rvf $i;done #删除文件
4、常用命令解析
uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]
-c 在输出行前面加上每行在输入文件中出现的次数。
-d 仅显示重复行。
-f 忽略由 Fields 变量指定的字段数目。如果 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。这个标志和 -Fields 标志是等价的。
-u 仅显示不重复的行。
例子:查询一个文件重复最多的前10条记录:
uniq -c file | sort -n -r |head -10
comm命令语法:comm [-123] [--help][--version][file1][file2]
comm命令参数:
-1 不显示只在第1个文件里出现过的列。
-2 不显示只在第2个文件里出现过的列。
-3 不显示只在第1和第2个文件里出现过的列。
FastDFS常见命令
1: 启动FastDFS
tracker: /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
storage: /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
2:关闭FastDFS
tracker:/usr/local/bin/stop.sh /usr/local/bin/fdfs_tracker
storage:/usr/local/bin/stop.sh /usr/local/bin/fdfs_storage
或者 killall fdfs_trackered(storaged) -------注意,千万不要使用-9强行杀死进程。
3:重启FastDFS
tracker:/usr/local/bin/restart.sh /usr/local/bin/fdfs_trackered
storage:/usr/local/bin/restart.sh /usr/local/bin/fdfs_storaged
4:查看集群情况
在任意一台storage(tracker也可以) /usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf
5:删除一个storage:
在任意一台storage(tracker也可以) /usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf delete group2 20.12.1.73
6:上传文件
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /opt/02.jpg
7:删除上传的文件
/usr/local/bin/fdfs_delete_file 配置文件 需要删除的文件路径
/usr/local/bin/fdfs_delete_file /etc/fdfs/client.conf group3/M00/00/00/wKgAUE5yiVK0VEpSACiWWseqpak.tar.gz