FileStore::mkfs()

最新推荐文章于 2023-12-05 22:00:57 发布
最新推荐文章于 2023-12-05 22:00:57 发布
阅读量609 收藏
点赞数
分类专栏： ceph 文章标签： ceph FileStore
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litianze99/article/details/75115831
版权

Ceph Version : Kraken
Component：FileStore
FileStore::mkfs() 该方法是用于初始化OSD的文件系统，只有在安装OSD时由OSD::mkfs(…)发起调用。

mkfs中做了以下工作：

  1. 创建fsid文件，随机生产一个字符串作为OSD的UUID，保存到fsid文件中。
  2. 创建store_version文件，用于保存当前FileStore的版本。
  3. 创建superblock文件，保存FSSuperblock实例的序列化值。 创建current目录。
  4. 创建current/commit_op_seq文件，保存当前最新的commit op的序号。
  5. 创建kv数据库omap（生产current/omap目录）
  6. 创建kv数据库先的osd_uuid文件（current/omap/osd_uuid），并保持fsid于其中。
  7. 初始化OSD事务日志，如果是一个裸块设备，则检查该大小是否满足事务日志最小要求，并初始化日志的头；如果是一个文件用于事务日志，则构建该日志文件，并初始化日志头，其余空间填充0.
  8. 创建type文件，保存当前存储引擎类型（如：filestore）。

FileStore::mkfs()具体代码如下：

int FileStore::mkfs()
{
  int ret = 0;
  char fsid_fn[PATH_MAX];
  char fsid_str[40];
  uuid_d old_fsid;
  uuid_d old_omap_fsid;
//1.打开存储空间的根目录basedir（/var/log/ceph/osd/ceph-*）
  dout(1) << "mkfs in " << basedir << dendl;
  basedir_fd = ::open(basedir.c_str(), O_RDONLY);
  if (basedir_fd < 0) {
    ret = -errno;
    derr << "mkfs failed to open base dir " << basedir << ": " << cpp_strerror(ret) << dendl;
    return ret;
  }
//2.打开或者创建存储OSD文件系统UUID的文件（${basedir}/fsid 保存了OSD的uuid），生产fsid，并创建fsid文件
  // open+lock fsid
  snprintf(fsid_fn, sizeof(fsid_fn), "%s/fsid", basedir.c_str());
  fsid_fd = ::open(fsid_fn, O_RDWR|O_CREAT, 0644);
  if (fsid_fd < 0) {
    ret = -errno;
    derr << "mkfs: failed to open " << fsid_fn << ": " << cpp_strerror(ret) << dendl;
    goto close_basedir_fd;
  }
//对fsid文件上锁
  if (lock_fsid() < 0) {
    ret = -EBUSY;
    goto close_fsid_fd;
  }
//对其osd uuid 进行设置
  if (read_fsid(fsid_fd, &old_fsid) < 0 || old_fsid.is_zero()) {
    if (fsid.is_zero()) {
      fsid.generate_random();
      dout(1) << "mkfs generated fsid " << fsid << dendl;
    } else {
      dout(1) << "mkfs using provided fsid " << fsid << dendl;
    }

    fsid.print(fsid_str);
    strcat(fsid_str, "\n");
    ret = ::ftruncate(fsid_fd, 0);
    if (ret < 0) {
      ret = -errno;
      derr << __FUNC__ << ": failed to truncate fsid: "
           << cpp_strerror(ret) << dendl;
      goto close_fsid_fd;
    }
    ret = safe_write(fsid_fd, fsid_str, strlen(fsid_str));
    if (ret < 0) {
      derr << __FUNC__ << ": failed to write fsid: "
           << cpp_strerror(ret) << dendl;
      goto close_fsid_fd;
    }
    if (::fsync(fsid_fd) < 0) {
      ret = -errno;
      derr << __FUNC__ << ": close failed: can't write fsid: "
           << cpp_strerror(ret) << dendl;
      goto close_fsid_fd;
    }
    dout(10) << "mkfs fsid is " << fsid << dendl;
  } else {
    if (!fsid.is_zero() && fsid != old_fsid) {
      derr << __FUNC__ << ": on-disk fsid " << old_fsid << " != provided " << fsid << dendl;
      ret = -EINVAL;
      goto close_fsid_fd;
    }
    fsid = old_fsid;
    dout(1) << __FUNC__ << ": fsid is already set to " << fsid << dendl;
  }
//创建store_version文件，写入FileStore 版本
  // version stamp
  ret = write_version_stamp();
  if (ret < 0) {
    derr << __FUNC__ << ": write_version_stamp() failed: "
         << cpp_strerror(ret) << dendl;
    goto close_fsid_fd;
  }  
//创建superblock文件，写入FSSuperblock实例序列化保存到superblock中
  // superblock                                                                                                                                                   
  superblock.omap_backend = cct->_conf->filestore_omap_backend;                                                                                                   
  ret = write_superblock();                                                                                                                                       
  if (ret < 0) {                                                                                                                                                  
  ¦ derr << __FUNC__ << ": write_superblock() failed: "                                                                                                           
         << cpp_strerror(ret) << dendl;                                                                                                                           
  ¦ goto close_fsid_fd;                                                                                                                                           
  }                                                                                                                                                               

  struct statfs basefs;                                                                                                                                           
  ret = ::fstatfs(basedir_fd, &basefs);                                                                                                                           
  if (ret < 0) {                                                                                                                                                  
  ¦ ret = -errno;                                                                                                                                                 
  ¦ derr << __FUNC__ << ": cannot fstatfs basedir "                                                                                                               
         << cpp_strerror(ret) << dendl;                                                                                                                           
  ¦ goto close_fsid_fd;                                                                                                                                           
  }                                                                                                                                                               
  //创建FileStore的存储后端如：（XFSFileStoreBackend）                                                                                                                                                               
  create_backend(basefs.f_type);                                                                                                                                  
  //创建存储空间下的current目录                                                                                                                                                                
  ret = backend->create_current();                                                                                                                                
  if (ret < 0) {                                                                                                                                                  
  ¦ derr << __FUNC__ << ": failed to create current/ " << cpp_strerror(ret) << dendl;                                                                             
  ¦ goto close_fsid_fd;                                                                                                                                           
  }                                                                                                                                                               

  // write initial op_seq（commit_op_seq）
  {
    uint64_t initial_seq = 0;
    int fd = read_op_seq(&initial_seq);
    if (fd < 0) {
      ret = fd;
      derr << __FUNC__ << ": failed to create " << current_op_seq_fn << ": "
           << cpp_strerror(ret) << dendl;
      goto close_fsid_fd;
    }
    if (initial_seq == 0) {
      ret = write_op_seq(fd, 1);
      if (ret < 0) {
        VOID_TEMP_FAILURE_RETRY(::close(fd));
        derr << __FUNC__ << ": failed to write to " << current_op_seq_fn << ": "
             << cpp_strerror(ret) << dendl;
        goto close_fsid_fd;
      }

      if (backend->can_checkpoint()) {
        // create snap_1 too
        current_fd = ::open(current_fn.c_str(), O_RDONLY);
        assert(current_fd >= 0);
        char s[NAME_MAX];
        snprintf(s, sizeof(s), COMMIT_SNAP_ITEM, 1ull);
        ret = backend->create_checkpoint(s, NULL);
        VOID_TEMP_FAILURE_RETRY(::close(current_fd));
        if (ret < 0 && ret != -EEXIST) {
          VOID_TEMP_FAILURE_RETRY(::close(fd));
          derr << __FUNC__ << ": failed to create snap_1: " << cpp_strerror(ret) << dendl;
          goto close_fsid_fd;
        }
      }
    }
    VOID_TEMP_FAILURE_RETRY(::close(fd));
  }
  //创建leveldb数据库，即创建current/omap文件夹
  ret = KeyValueDB::test_init(superblock.omap_backend, omap_dir);
  if (ret < 0) {
  ¦ derr << __FUNC__ << ": failed to create " << cct->_conf->filestore_omap_backend << dendl;
  ¦ goto close_fsid_fd;
  } 
  //在omap下创建osd_uuid文件并保持fsid。
  // create fsid under omap                                                                                                                                                                  
  // open+lock fsid
  int omap_fsid_fd;
  char omap_fsid_fn[PATH_MAX];
  snprintf(omap_fsid_fn, sizeof(omap_fsid_fn), "%s/osd_uuid", omap_dir.c_str());
  omap_fsid_fd = ::open(omap_fsid_fn, O_RDWR|O_CREAT, 0644);
  if (omap_fsid_fd < 0) {
  ¦ ret = -errno;
  ¦ derr << __FUNC__ << ": failed to open " << omap_fsid_fn << ": " << cpp_strerror(ret) << dendl;
  ¦ goto close_fsid_fd;
  }

  if (read_fsid(omap_fsid_fd, &old_omap_fsid) < 0 || old_omap_fsid.is_zero()) {
  ¦ assert(!fsid.is_zero());
  ¦ fsid.print(fsid_str);
  ¦ strcat(fsid_str, "\n");
  ¦ ret = ::ftruncate(omap_fsid_fd, 0);
  ¦ if (ret < 0) {
  ¦ ¦ ret = -errno;
  ¦ ¦ derr << __FUNC__ << ": failed to truncate fsid: "
         ¦ << cpp_strerror(ret) << dendl;
  ¦ ¦ goto close_omap_fsid_fd;
  ¦ }
  ¦ ret = safe_write(omap_fsid_fd, fsid_str, strlen(fsid_str));
  ¦ if (ret < 0) {
  ¦ ¦ derr << __FUNC__ << ": failed to write fsid: "
         ¦ << cpp_strerror(ret) << dendl;
  ¦ ¦ goto close_omap_fsid_fd;
  ¦ }
  ¦ dout(10) << __FUNC__ << ": write success, fsid:" << fsid_str << ", ret:" << ret << dendl;
  ¦ if (::fsync(omap_fsid_fd) < 0) {
  ¦ ¦ ret = -errno;
  ¦ ¦ derr << __FUNC__ << ": close failed: can't write fsid: "
         ¦ << cpp_strerror(ret) << dendl;
  ¦ ¦ goto close_omap_fsid_fd;
  ¦ }
  ¦ dout(10) << "mkfs omap fsid is " << fsid << dendl;
  } else {
  ¦ if (fsid != old_omap_fsid) {
  ¦ ¦ derr << __FUNC__ << ": " << omap_fsid_fn
  ¦ ¦ ¦ ¦ ¦<< " has existed omap fsid " << old_omap_fsid
  ¦ ¦ ¦ ¦ ¦<< " != expected osd fsid " << fsid
  ¦ ¦ ¦ ¦ ¦<< dendl;
  ¦ ¦ ret = -EINVAL;
  ¦ ¦ goto close_omap_fsid_fd;
  ¦ }
  ¦ dout(1) << __FUNC__ << ": omap fsid is already set to " << fsid << dendl;
  }

  dout(1) << cct->_conf->filestore_omap_backend << " db exists/created" << dendl;
  //初始化journal，如：初始日志块设备，或者构建日志文件，然后写入日志头信息。
  // journal?
  ret = mkjournal();
  if (ret)
  ¦ goto close_omap_fsid_fd;
//创建type文件，保存当前使用的存储引擎如：filestore
  ret = write_meta("type", "filestore");
  if (ret)
  ¦ goto close_omap_fsid_fd;

  dout(1) << "mkfs done in " << basedir << dendl;
  ret = 0;

 close_omap_fsid_fd:
  VOID_TEMP_FAILURE_RETRY(::close(omap_fsid_fd));
 close_fsid_fd:
  VOID_TEMP_FAILURE_RETRY(::close(fsid_fd));
  fsid_fd = -1;
 close_basedir_fd:
  VOID_TEMP_FAILURE_RETRY(::close(basedir_fd));
  delete backend;
  backend = NULL;
  return ret;
}
创建current/commit_op_seq文件用于记录commit op 序号
//从basedir/current/commit_op_seq文件中读取已经commited的op序列号。（commit_op_seq最小值为1）
int FileStore::read_op_seq(uint64_t *seq)                                                                                                                         
{                                                                                                                                                                 
  int op_fd = ::open(current_op_seq_fn.c_str(), O_CREAT|O_RDWR, 0644);                                                                                            
  if (op_fd < 0) {                                                                                                                                                
  ¦ int r = -errno;                                                                                                                                               
  ¦ assert(!m_filestore_fail_eio || r != -EIO);                                                                                                                   
  ¦ return r;                                                                                                                                                     
  }                                                                                                                                                               
  char s[40];                                                                                                                                                     
  memset(s, 0, sizeof(s));                                                                                                                                        
  int ret = safe_read(op_fd, s, sizeof(s) - 1);                                                                                                                   
  if (ret < 0) {                                                                                                                                                  
  ¦ derr << "error reading " << current_op_seq_fn << ": " << cpp_strerror(ret) << dendl;                                                                          
  ¦ VOID_TEMP_FAILURE_RETRY(::close(op_fd));                                                                                                                      
  ¦ assert(!m_filestore_fail_eio || ret != -EIO);                                                                                                                 
  ¦ return ret;                                                                                                                                                   
  }                                                                                                                                                               
  *seq = atoll(s);                                                                                                                                                
  return op_fd;                                                                                                                                                                              
}
创建current目录
int GenericFileStoreBackend::create_current() 
{ 
  struct stat st;
  int ret = ::stat(get_current_path().c_str(), &st);
  if (ret == 0) {
  ¦ // current/ exists
  ¦ if (!S_ISDIR(st.st_mode)) {
  ¦ ¦ dout(0) << "_create_current: current/ exists but is not a directory" << dendl;
  ¦ ¦ ret = -EINVAL;
  ¦ }
  } else {
  ¦ ret = ::mkdir(get_current_path().c_str(), 0755);
  ¦ if (ret < 0) {
  ¦ ¦ ret = -errno;
  ¦ ¦ dout(0) << "_create_current: mkdir " << get_current_path() << " failed: "<< cpp_strerror(ret) << dendl;
  ¦ }
  }                                                                                                                                                                                          
  return ret;
}
序列化FSSuperblock实例并保持到superblock文件中
int FileStore::write_superblock()
{
  bufferlist bl;
  ::encode(superblock, bl);
  return safe_write_file(basedir.c_str(), "superblock",
  ¦ ¦ bl.c_str(), bl.length());
}
保存FileStore的版本到store_version文件中
int FileStore::write_version_stamp()
{
  bufferlist bl;
  ::encode(target_version, bl);

  return safe_write_file(basedir.c_str(), "store_version",
  ¦ ¦ bl.c_str(), bl.length());
}
初始化日志见FileStore::mkjournal()
李艳坤
关注
专栏目录
手动部署 Ceph 三节点实践环境
烟云的计算
04-23 3937
目录 文章目录目录部署拓扑基础系统环境 部署拓扑 ceph-node1：MON、OSD、ceph-admin sda：系统盘 sdb：OSD1 sdc：OSD2 sdd：OSD3 ceph-node2：MON、OSD sda：系统盘 sdb：OSD1 sdc：OSD2 sdd：OSD3 ceph-node2：MON、OSD sda：系统盘 sdb：OSD1 sdc：OSD2 sdd：OS...
【ceph】后端存储ObjectStore|BlueStore
小鱼菜鸟的博客
07-22 219
目录 ObjectStore简介 CEPH OBJECTSTORE API介绍 ObjectStore API 操作 事务 日志 实现 ObjectStore 实现 FileStore KeyValueStore MemStore 怎样加入新的ObjectStore 一个粗略的指南告诉你从哪里開始: Newstore(Blue...
fileStore存储
07-05
Android实现存储在手机内存卡和外置的sd卡
解析CEPH: 存储引擎实现之一 filestore
weixin_34311757的博客
04-10 168
Ceph作为一个高可用和强一致性的软件定义存储实现，去使用它非常重要的就是了解其内部的IO路径和存储实现。这篇文章主要介绍在IO路径中最底层的ObjectStore的实现之一FileStore。 ...
filestore的学习
oheven的博客
09-01 2253
1.源码读取 2.uml分析 3.代码实现
FileStore：FileStore此应用程序用于安全地存储和传输文件。 您的收件人将收到指向该电子邮件的链接，并可以下载传输给他的文件。 文件的保存期限限制为不超过45天（在App \ MyApp中为DAY_SAVE-您可以更改）。 创建者：Best IT Pro该应用程序是在PHP Framework Laravel中创建的
02-12
文件存储 此应用程序用于安全地存储和传输文件。 您的收件人将收到指向该电子邮件的链接，并可以下载传输给他的文件。 文件的保存期限限制为不超过45天（在App \ MyApp中为DAY_SAVE-您可以更改）。 应用专门为Drive.Modul.OOO创建。 创建者： : FileStore安装 此应用程序是在PHP Laravel Framework 6.15.1中创建的。 将文件复制到项目文件夹。 创建MySQL数据库（DB_DATABASE） 编辑.env： APP_NAME =您的应用名称 APP_URL =您的URL DB_DATABASE =您的数据库名称 DB_USERNAME =您的DBUser DB_PASSWORD =您的DBUserPassword MAIL_DRIVER = smtp MAIL_HOST = smtp.yandex.ru（例如，
Linux指令篇:文件系统--mkfs(转)
cuemes08808的博客
02-13 135
Linux指令篇:文件系统--mkfs(转)　　指令：mkfs　　使用权限 : 超级使用者　　使用方式 : mkfs [-V] [-t fstype] [fs-options] filesys [blocks]　　说明 ： 建立...
【ceph】ceph学习：浅析开源项目之Ceph--研读
小鱼菜鸟的博客
07-22 997
目录 1 Ceph概述2 核心组件3 IO流程4 IO顺序性5 PG一致性协议 5.1 StateMachine5.2 Failover Overview5.3 PG Peering5.4 Recovery/Backfill6 引擎概述7 FileStore 7.1 架构设计7.2 对外接口7.3 日志类型7.4 幂等操作8 BlueS...
Openstack Queens版本双节点架构笔记9，Ceph安装1：
林派文的博客
10-29 689
做Ceph实验需要重新创建三个Ceph环境用到的虚拟机：（以下实验在node1,node2,node3节点做） 虚拟机初始化搭架参考：Openstack Queens版本双节点架构笔记1，虚拟机环境安装： - 林派文的博客 - CSDN博客 https://blog.csdn.net/qq_38387984/article/details/83245908 网络节点：172.31.31.140...
ceph 安装ceph问题汇总
dlm520947的博客
01-16 2703
1、在不同节点安装ceph时，出现以下异常： 参考这里 ceph deploy RuntimeError: NoSectionError: No section: 'ceph' 解决方法： 在报错的机器上尝试： yum remove ceph-release rm /etc/yum.repos.d/ceph.repo.rpmsave 执行以后再执行 ceph...
解析Ceph: 存储引擎实现之一–FileStore
chenzhigui2178的博客
02-13 705
解析Ceph: 存储引擎实现之一–FileStore 在 2014 年 01 月 11 日 上公布 作者为 麦子迈 文章分类 Ceph Ceph作为一个高可用和强一致性的软件定义存储实现，去使用它非常重要的就是了解其内部的IO路径和存储实现。这篇文章主要介绍在IO...
ceph-L版本filestore安装
热门推荐
cloud_engineer的博客
04-07 21万+
一、ceph安装 1 前期准备 本次安装环境为： ceph1(集群命令分发管控，提供磁盘服务集群) CentOS7.5 192.168.3.61 ceph2(提供磁盘服务集群) CentOs7.5 192.168.3.62 ceph3(提供磁盘服务集群) CentOs7.5 192.168.3.63 2 编辑hosts文件，增加以下内容 # ceph1-master and ceph1-osd1 192.168.3.61 ceph1 # ceph2-osd2 192.16
ipfs filestore解读
区块链之路
03-02 1074
IPFS中的filestore作用类似于Git中的LFS，主要用于存储大文件，在blockstore只存储大文件的dag root，在FileManager存放文件的metadata， 避免大文件充斥blockstore，节省blockstore的空间。 Git LFS LFS全称Large File System，是git用来存放大文件的地方。它有几个优点： 1、在git仓库只存储了大文件的链接...
java file的用法_java11教程--类FileStore用法
weixin_42394206的博客
02-21 499
存储文件。FileStore表示存储池，设备，分区，卷，具体文件系统或其他特定于实现的文件存储方式。所述FileStore一个文件的存储位置是通过调用获得getFileStore方法，或所有文件存储可以通过调用被枚举getFileStores方法。除了此类定义的方法之外，文件存储可以支持一个或多个FileStoreAttributeView类，这些类提供一组文件存储属性的只读或可更新视图。初始化此...
Linux管理
LS198217的博客
04-07 891
1. Linux的磁盘与文件系统 磁盘简介：磁盘存储器（magnetic disk storage），以磁盘为存储介质的存储器。它是利用磁记录技术在涂有磁记录介质的旋转圆盘上进行数据存储的辅助存储器；具有存储容量大、数据传输率高、存储数据可长期保存等特点。 磁盘物理组成：盘片（Platters）、轴（Spindle）、读写头（Read/Write Head）、读写头...
ceph fileStore与 blueStore逻辑架构对比
波哥在路上
02-26 8213
ceph 消息处理逻辑架构图 ceph后端支持多种存储引擎，以插件化的形式来进行管理使用，目前支持filestore，kvstore，memstore以及bluestore，目前默认使用的是filestore，但是目前bluestore也可以上生产。 1）Firestore存在的问题是： 在写数据前需要先写journal，会有一倍的写放大； 若是另外配备SSD盘给journal使用又增加额外的...
每天5分钟复习OpenStack（十二）Ceph FileStore 和 BlueSotre
最新发布
weixin_45645078的博客
12-05 1353
ceph FileStore 和BlueSore 你确定不了解下？
FileStore::mount处理过程
litianze99的专栏
10-25 1355
osd存储空间中的目录结构[root@ceph-osd-241 ceph-1]# tree -L 1 . ├── ceph_fsid ├── current ├── fsid ├── journal ├── keyring ├── lltxt ├── magic ├── ready ├── store_version ├── superblock └── whoamiFileStore::mount
Ceph OSD日志分析
梦幻之巅
04-16 9295
Ceph OSD日志分析本文由 Ceph中国社区-Thomas翻译，陈晓熹校稿 。英文出处：CEPH OSD JOURNAL 欢迎加入 翻译小组简介与ext4这类日志文件系统类似，Ceph OSD日志也是一种事务日志。它是基于文件系统的OSD的关键组成部分，提供存储系统所需的一致性保证。让我们从Ceph documentation中有关日志的描述开始：Ceph OSD使用日志有两个原因：速度及一致性
dbfs：/FileStore/tables/webevent.csv.如何修改
09-09
dbutils.fs.cp("dbfs:/FileStore/tables/webevent.csv", "file:/tmp/webevent.csv") ``` 您可以在本地文件系统中找到文件/tmp/webevent.csv并进行修改。完成修改后，您可以使用以下代码将文件复制回dbfs： ```...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值