获取fastdfs所有文件

最新推荐文章于 2024-08-06 10:07:21 发布

weixin_30252155

最新推荐文章于 2024-08-06 10:07:21 发布

阅读量2.9k

点赞数

文章标签：数据库 java python

原文链接：http://www.cnblogs.com/xiaolinstudy/p/7777123.html

版权

当MySQL中存储的图片链接与FastDFS实际存储不符时，通过编写脚本进行同步。步骤包括：从MySQL读取图片信息存入Redis，获取FastDFS所有图片也存入Redis，通过集合差集找出多余图片并删除。由于FastDFS无列出所有文件的脚本，作者使用Python编写了遍历文件的脚本。

摘要由CSDN通过智能技术生成

工作中，mysql中存储的图片链接信息和FastDFS实际存储的图片数量不一致，此时应该与mysql中有存储记录的图片保持一致，我们要在FastDFS服务器中删除哪些无用的图片。于是乎自己写了一个脚本。

1. 读取mysql中的所有FastDFS存储图片信息---->存储到redis，保存为set

2. 读取FastDFS中的图片信息---->存储到redis，保存为set

3. 两个set，以FastDFS的set和mysql的set做差集运算得到多出来的图片set

4. 在FastDFS服务器上删除上一步中包含的图片

fastdfs提供的脚本不能列出所有的文件，所以我自己写了一个python脚本遍历出所有文件
pythonToRedis.py
把所有文件写入到了本地文件，当然也可以存入关系型数据库或者Redis中（用set去重，做一些交差补运算）

import re
import sys
import os

def allFiles():
    path = '/data/fastdfs/storage/data' # basepath配置路径
    rounds = 1
    fdfspath = 'group1/M00'

    with open('/home/timing/shelles/data.txt','w') as file_url:
        
        for dirpath, dirname