【山大智云】SeafileServer源码分析之Seafile对象存储

最新推荐文章于 2022-11-30 11:33:36 发布

.d_p.

最新推荐文章于 2022-11-30 11:33:36 发布

阅读量1k

点赞数

分类专栏：山大智云文章标签： big data elasticsearch 大数据

本文链接：https://blog.csdn.net/cyk0620/article/details/121024629

版权

山大智云专栏收录该内容

15 篇文章 11 订阅

订阅专栏

2021SC@SDUSC

Seafile对象存储

一些Seafile对象需要持久化至硬盘。它们的存储方式有两种，一种是非关系型存储，另一种是关系型存储。前者要求对象必须含有id。

请添加图片描述

非关系型存储

非关系型存储主要被Seafile文件管理系统所使用。因为Seafile文件管理系统是分布式的，而非关系型存储能为分布式存储提供良好的基础。

对象存储操作

obj-backend：规定了对象进行非关系型存储所需要的抽象操作。

操作	说明
读	根据仓库id、版本、对象id，获取对象的字节流。
写	根据仓库id、版本、对象id，写入对象的字节流。支持备份与同步。
存在	根据仓库id、版本、对象id，判断是否存在。
删除	根据仓库id、版本、对象id，删除对象字节流。
遍历仓库	根据仓库id、版本，遍历仓库中的所有对象字节流。
复制	给定对象id，将其从某个版本的某个仓库复制到另一个仓库。
清空	移除某个仓库内的所有对象字节流。

对象存储器

obj-store：对象存储器是对对象后台的进一步封装。

目前基于的是文件系统实现的后台。可由SeafileSession和对象类型生成对象存储器。

基于文件系统实现

项目中实现了一个基于文件系统的非关系型存储系统。

对象的物理位置

对象的物理存储位置如下：
```
[obj_dir] / [repo_id] / [obj_id[:2]] / [obj_id[2:]]
```
其中obj_dir由对象存储器给定，格式如下：
```
[seaf_dir] / storage / [obj_type]
```
1. seaf_dir：即配置文件中的seafile_dir；
2. obj_type：Seafile对象类型。（例如fs表示文件系统相关对象）
对象存储操作的实现

主要利用的是文件系统调用，略。

基于riak实现

Riak是一个分布式NoSQL数据存储系统，使用键值存储。

对象的物理位置
```
[host]:[port] / [bucket] / [obj_id]
```
通过主机、端口、桶名和对象id定位对象。
对象存储操作的实现

使用Riak的API实现，略。

关系型存储

部分Seafile对象采用的是关系型存储方式。相关代码的结构如下：

请添加图片描述

支持的数据库有：sqlite、mysql。编译时只能选择一个，默认为sqlite。（源码中还定义了pgsql，但未实现）

使用这种方式存储的的Seafile对象包括：branch、group等。

关系化对象

对象的数据库和表
1. 数据库
  
  依照对象从属的系统，规定对象被存储的数据库。整个项目有两个数据库：seafile（用于seafile系统）、ccnet（用于ccnet系统）。
2. 表
  
  依照对象类型，创建表。如SeafBranch对象对应了Branch表。
对象关系映射

读写对象本质上就是读写数据库。相关对象中借助数据库操作的抽象封装，对自身的各个属性实现了双向数据流动。

项目中整个部分是面向过程的，没有统一的ORM。结构体中通过一个私有指针指向数据库上下文(SeafDB)，每次读写都对应了一个SQL和一个数据库操作。

数据库操作

上下文
- SeafDB：Seafile数据库上下文。
- SeafRow：Seafile数据库行上下文。
- SeafTrans：Seafile数据库事务上下文。
- CcnetDB、CcnetRow、CcnetTrans：对应Ccnet数据库。

抽象操作

操作	说明
获取连接	（根据配置）连接数据库并获取SeafDB。
释放连接	断开连接并释放SeafDB。
非预编译执行SQL	直接执行SQL。
执行SQL	输入SQL、参数列表，然后预编译并执行。
遍历行	输入SQL、参数列表，然后预编译并执行；随后遍历各个行，传递给回调函数
获取列数	获取一行中的列的数量
获取字符串属性	给定行，列的索引，获取字符串属性
获取整型属性	给定行，列的索引，获取整型属性
获取长整型属性	给定行，列的索引，获取长整型属性

操作封装

seaf-db：对数据库抽象操作进行进一步的封装，以适配本项目的需求。

seaf-utils：提供了一些实用接口，包括根据会话配置创建数据库连接(SeafDB)。

基于Mysql实现

seaf-db.c中通过Mysql API实现了数据库抽象操作。

关于常规数据库操作的实现略，因为这些操作大都是对API进行的一定程度的封装。Mysql实现中主要关注的是多连接管理。因为当一个连建长时间无操作时，有可能断线，所以需要去反复发出ping信号，防止连接断开。项目中的实现方式是通过线程池进行线程调度。每个连接占有一个线程，这些线程通过一个互斥锁来争夺ping的资源。默认每30s进行一次ping。Mysql实现中不需要考虑数据库内的并发，因为Mysql已经实现了锁机制。

基于Sqlite实现

seaf-db.c中通过sqlite API实现了数据库抽象操作。

关于常规数据库操作的实现略，主要关注数据库并发处理。sqlite提供了一个解锁通知的接口sqlite3_unlock_notify，每次sqlite数据库解锁时，会调用用户提供的回调函数。因此并发机制主要靠用户实现。

项目中主要通过wait_for_unlock_notify函数进行互斥并发，每次执行SQL前将调用该方法等待sqlite解锁：

typedef struct UnlockNotification { // 通知上下文
        int fired; // 是否已经通知
        pthread_cond_t cond; // 条件变量
        pthread_mutex_t mutex; // 条件变量的互斥锁
} UnlockNotification;

static void
unlock_notify_cb(void **ap_arg, int n_arg) // 回调函数
{
    int i;

    for (i = 0; i < n_arg; i++) { // 遍历用户参数
        UnlockNotification *p = (UnlockNotification *)ap_arg[i];
        pthread_mutex_lock (&p->mutex);
        p->fired = 1; // 表示已经通知
        pthread_cond_signal (&p->cond); // 条件变量发送信号
        pthread_mutex_unlock (&p->mutex);
    }
}

static int
wait_for_unlock_notify(sqlite3 *db)
{
    UnlockNotification un;
    un.fired = 0;
    pthread_mutex_init (&un.mutex, NULL);
    pthread_cond_init (&un.cond, NULL);

    int rc = sqlite3_unlock_notify(db, unlock_notify_cb, (void *)&un); // 并发通知

    if (rc == SQLITE_OK) {
        pthread_mutex_lock(&un.mutex);
        if (!un.fired) // 若已经通知，则跳过等待
            pthread_cond_wait (&un.cond, &un.mutex); // 否则等待条件变量发送信号
        pthread_mutex_unlock(&un.mutex);
    }

    pthread_cond_destroy (&un.cond);
    pthread_mutex_destroy (&un.mutex);

    return rc;
}

.d_p.

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【山大智云】SeafileServer源码分析之Seafile对象存储

Seafile对象存储一些Seafile对象需要持久化至硬盘。它们的存储方式有两种，一种是非关系型存储，另一种是关系型存储。前者要求对象必须含有id。非关系型存储非关系型存储主要被Seafile文件管理系统所使用。因为Seafile文件管理系统是分布式的，而非关系型存储能为分布式存储提供良好的基础。相关代码的结构如下：与块系统类似，并且有多种实现方式。使用这种方式存储的的Seafile对象包括：commit、seafile、seafdir、seafdirent等。对象的逻辑位置只考虑Se
复制链接

扫一扫