seaweedfs的使用和修改

Seaweedfs 是根据 facebook的一篇关于分布式图片系统的论文完成的. 这篇论文的英文原文地址,中文翻译版本的地址

Seaweedfs官方地址为: 这里. 用GO语言完成.

Seaweedfs 我主要用到的是:

weed master

weed volume

weed filer

weed upload

master可以作集群.其用raft来做一致性协议,选举master.

volume服务,就是一个存储的服务.

volume表示一个物理卷,实际上就是一个dat文件.

volume服务启动的时候,可以指定 dir= dir[,dir],

每一个dir可以指定maxVolumeCount,默认是7. 即一个dir对应7个volume.

有关于它的架构,我会再详细介绍.

先说说以前用FASTDFS的痛点:

之前使用fastdfs的时候,尤其是在做老图片导入到fastdfs的时候,还需要自己做处理.为的是原有的图片名称在进入fastdfs后发生了变化 ,比如 1.jpg 可能变成12ds0sdfj123.jpg.

这个时候就需要自己做适配.

要记录原有的图片名称和FASTDFS的名称的对应关系.

Seaweedfs 的 filer功能,就自带了这个处理. filer本身就是一个图片的上传和访问的接口,以HTTP的方式接受 GET 和 POST.

当我们需要传一张图片到文件系统中,只需要按照我们常规的传图方式,POST到 filer的端口即可.

它的对应关系默认存储有三种方式: 1.cassandra 2. redis 3. leveldb

出于对redis的了解程度比其他要深入,所以我选择了使用redis来存储映射关系.

在redis中, key为 图片的原始全路径名,value为seaweedfs的FID,比如:<"/test/1.jpg","2,022776cf3307">

再说说改造:

我在upload服务中,改造了一下代码. 因为用Upload服务可以批量导入一个文件夹下的所有文件. 但是由于文件不经过filer,所以无法完成映射关系.

所以,我在upload中,先记录了完成的图片原始路径和导入后的FID.

再批量插入到REDIS中.

REDIS的DB我默认都设置为了9. 这样如果接入已有的redis集群,对现有数据的影响较小.