分布式存储Cephfs读取优化方案

最新推荐文章于 2024-09-06 12:31:36 发布
最新推荐文章于 2024-09-06 12:31:36 发布
阅读量1.5k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44389885/article/details/101478533
版权

1.背景说明

继上次分享的 Ceph介绍及原理架构分享 和 分布式存储Ceph之PG状态详解 ，这次分享点干货。
用户需要从cephfs存储系统中检索一个大文件指定关键字的一行信息， 并且对延迟和性能要求比较高。

2. 原始方案

2.1 流程图

2099201-152dc1a964a7f60f.png
image.png

2.2 说明

  • 假如用户拉取的文件大小是16M, 文件按照4M切分，散落到四个数据片上
  • 用户首先请求cephfs拉取文件信息
  • cephfs会根据crush算法找计算文件散落到那几个数据片上
  • cephfs会拉取文件所属的数据片然后聚合起来
  • cephfs文件拉取后返回给用户
  • 用户拉取完整个文件，开始做过滤关键字操作

2.3 实战

//检索2.7G文件为例
$ ll -lh nginx/logs/access.log.2018102911
-rw-rw-r-- 1 root root 2.7G Oct 29 12:07 nginx/logs/access.log.2018102911

//grep 模拟花费12s
$ time grep "xxxyyyzzzqqq" nginx/logs/access.log.2018102911

real    0m12.355s
user    0m0.302s
sys 0m0.823s

2.4 优缺点

优点

  • 简单方便
  • 开发成本低

缺点

  • 用户端检索延迟大，影响用户体验
  • 客户端集群网卡带宽波动较大，带宽有限，每次都需要把大日志文件拉取到客户端
  • 对ceph集群负载也有波动影响

2.5 总结

用户拉取文件，必须先通过cephfs拉取文件到本地，然后根据关键字检索这行数据。如果用户检索量比较大的时候，并且文件大小都不统一，拉取文件越大网络延迟越高，并且在大文件中过滤关键字效率非常低，严重影响用户的体验。

3. 优化方案

3.1 流程图

2099201-8830428557d4f17b.png
image.png

3.2 说明

  • 用户发起请求输入文件名和key关键字到达索引层
  • 索引层根据key找到对应的offset信息，然后传给dss-readline
  • dss-readline根据cephfs cursh算法找到对应的object信息和offset信息
  • 根据dss-readline用户输入的offset找到对应的object块信息
  • dss-readline直接获取需要块的offset 该行的信息

3.3 实战

//查找2.8G文件offset对应的信息
$ ll  nginx/logs/access.log.2018110216 -lh
-rw-rw-r-- 1 root root 2.8G Nov  2 17:08 nginx/logs/access.log.2018110216

//sed的方式模拟，花费12s
$ time sed -n "1024p" nginx/logs/access.log.2018110216

real    0m12.042s
user    0m1.191s
sys 0m0.929s

//dss_readfile 自研工具, 输入参数:poolname, filename, offset 可以看出来花费91ms
//usage: dss_readfile <poolname> <filename> <offset>
time ./dss_readfile data nginx/logs/access.log.2018110216 1024

real    0m0.091s
user    0m0.042s
sys 0m0.011s

3.4 优缺点

缺点

  • 需要额外开发成本

优点

  • 提升用户体验，从以前检索单个2.8G文件耗时10s左右， 优化后控制在100ms左右
  • 客户端网络网卡带宽可用率得到提升
  • 减少对ceph集群的冲击影响

3.5 总结

思路：
由于文件信息是放到服务端，进行切片存储到数据节点。
我们能不能只拉取我需要的块信息，不用全量拉取到本地，答案是肯定的。

  • 根据文件信息查找所有的object、offset信息
  • 根据offset找到需要检索的object信息
  • 找到对应的object，读取该object对应的offset位置的信息（一行数据可能会拆分多个object)

优点：

  • 提升用户体验，从以前检索单个2.8G文件耗时10s左右， 优化后控制在100ms左右
  • 客户端网络网卡带宽可用率得到提升
  • 减少对ceph集群的冲击影响

4. 深入分析

4.1 文件对应object信息

4.1.1 Jewel版本

//Ceph Jewel版本里，有个cephfs的工具，可以获取file的location信息
//根据offset查找object信息
$ cephfs /mnt/kernel_log_push.log show_location -l 4194304
WARNING: This tool is deprecated.  Use the layout.* xattrs to query and modify layouts.
location.file_offset:  4194304
location.object_offset:0
location.object_no:    1
location.object_size:  4194304
location.object_name:  10002b63282.00000001
location.block_offset: 0
location.block_size:   4194304
location.osd:          67

//file object map 信息
$ cephfs /mnt/kernel_log_push.log map
WARNING: This tool is deprecated.  Use the layout.* xattrs to query and modify layouts.
    FILE OFFSET                    OBJECT        OFFSET        LENGTH  OSD
              0      10002b63282.00000000             0       4194304  61
        4194304      10002b63282.00000001             0       4194304  67
        8388608      10002b63282.00000002             0       4194304  70
       12582912      10002b63282.00000003             0       4194304  68

4.1.2 源码跟踪

ceph jewel版本，cephfs代码
https://github.com/ceph/ceph/blob/v10.2.9/src/cephfs.cc#L117

    struct ceph_ioctl_layout layout;
    memset(&layout, 0, sizeof(layout));
    //获取layout信息
    err = ioctl(fd, CEPH_IOC_GET_LAYOUT, (unsigned long)&layout);
    if (err) {
      cerr << "Error getting layout: " << cpp_strerror(errno) << endl;
      return 1;
    }

    printf("%15s  %24s  %12s  %12s  %s\n",
       "FILE OFFSET", "OBJECT", "OFFSET", "LENGTH", "OSD");
    for (long long off = 0; off < st.st_size; off += layout.stripe_unit) {
      struct ceph_ioctl_dataloc location;
      location.file_offset = off;
      //获取location 信息
      err = ioctl(fd, CEPH_IOC_GET_DATALOC, (unsigned long)&location);
      if (err) {
    cerr << "Error getting location: " << cpp_strerror(errno) << endl;
    return 1;
      }
      printf("%15lld  %24s  %12lld  %12lld  %d\n",
         off, location.object_name, (long long)location.object_offset,
         (long long)location.block_size, (int)location.osd);
    }

CEPH_IOC_GET_DATALOC代码

//定义/src/client/ioctl.h
//https://github.com/ceph/ceph/blob/d038e1da7a6c9b31ba4463b8ebedb9908981a55e/src/client/ioctl.h#L46
#define CEPH_IOC_GET_DATALOC _IOWR(CEPH_IOCTL_MAGIC, 3, \
                   struct ceph_ioctl_dataloc)

//fuse 代码跟踪, 发现只支持layout
//https://github.com/ceph/ceph/blob/d038e1da7a6c9b31ba4463b8ebedb9908981a55e/src/client/fuse_ll.cc#L631
static void fuse_ll_ioctl(fuse_req_t req, fuse_ino_t ino, int cmd, void *arg, struct fuse_file_info *fi,
              unsigned flags, const void *in_buf, size_t in_bufsz, size_t out_bufsz)
{
  CephFuse::Handle *cfuse = fuse_ll_req_prepare(req);

  if (flags & FUSE_IOCTL_COMPAT) {
    fuse_reply_err(req, ENOSYS);
    return;
  }

  switch (static_cast<unsigned>(cmd)) {
    case CEPH_IOC_GET_LAYOUT: {
      file_layout_t layout;
      struct ceph_ioctl_layout l;
      Fh *fh = (Fh*)fi->fh;
      cfuse->client->ll_file_layout(fh, &layout);
      l.stripe_unit = layout.stripe_unit;
      l.stripe_count = layout.stripe_count;
      l.object_size = layout.object_size;
      l.data_pool = layout.pool_id;
      fuse_reply_ioctl(req, 0, &l, sizeof(struct ceph_ioctl_layout));
    }
    break;
    default:
      fuse_reply_err(req, EINVAL);
  }
}

//kernel cephfs代码, 支持layout, 支持dataloc
// /usr/src/debug/kernel-3.10.0-693.17.1.el7/linux-3.10.0-693.17.1.el7.x86_64/fs/ceph/ioctl.c
long ceph_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
{
        dout("ioctl file %p cmd %u arg %lu\n", file, cmd, arg);
        switch (cmd) {
        case CEPH_IOC_GET_LAYOUT:
                return ceph_ioctl_get_layout(file, (void __user *)arg);

        case CEPH_IOC_SET_LAYOUT:
                return ceph_ioctl_set_layout(file, (void __user *)arg);

        case CEPH_IOC_SET_LAYOUT_POLICY:
                return ceph_ioctl_set_layout_policy(file, (void __user *)arg);

        case CEPH_IOC_GET_DATALOC:
                return ceph_ioctl_get_dataloc(file, (void __user *)arg);

        case CEPH_IOC_LAZYIO:
                return ceph_ioctl_lazyio(file);

        case CEPH_IOC_SYNCIO:
                return ceph_ioctl_syncio(file);
        }

        return -ENOTTY;
}

static long ceph_ioctl_get_dataloc(struct file *file, void __user *arg)
{
        ...
        r = ceph_calc_file_object_mapping(&ci->i_layout, dl.file_offset, len,
                                          &dl.object_no, &dl.object_offset,
                                          &olen);
        if (r < 0) {
                up_read(&osdc->lock);
                return -EIO;
        }
        dl.file_offset -= dl.object_offset;
        dl.object_size = ceph_file_layout_object_size(ci->i_layout);
        dl.block_size = ceph_file_layout_su(ci->i_layout);

        /* block_offset = object_offset % block_size */
        tmp = dl.object_offset;
        dl.block_offset = do_div(tmp, dl.block_size);

        snprintf(dl.object_name, sizeof(dl.object_name), "%llx.%08llx",
                 ceph_ino(inode), dl.object_no);

     ...

4.1.2 Luminous版本

Luminous版本里，没有src/cephfs.cc文件, 发现test_ioctls.c 其实有相关的测试代码。
https://github.com/ceph/ceph/blob/master/src/client/test_ioctls.c
/src/client/test_ioctls.c

int main(int argc, char **argv)
{
    ...
    fd = open(fn, O_CREAT|O_RDWR, 0644);
    if (fd < 0) {
        perror("couldn't open file");
        return 1;
    }

    /* get layout */
        err = ioctl(fd, CEPH_IOC_GET_LAYOUT, (unsigned long)&l);
        if (err < 0) {
                perror("ioctl IOC_GET_LAYOUT error");
                return 1;
        }
        printf("layout:\n stripe_unit %lld\n stripe_count %lld\n object_size %lld\n data_pool %lld\n",
               (long long)l.stripe_unit, (long long)l.stripe_count, (long long)l.object_size, (long long)l.data_pool);

    /* dataloc */
    dl.file_offset = atoll(argv[2]);
    err = ioctl(fd, CEPH_IOC_GET_DATALOC, (unsigned long)&dl);
    if (err < 0) {
        perror("ioctl IOC_GET_DATALOC error");
        return 1;
    }

    printf("dataloc:\n");
    printf(" file_offset %lld (of object start)\n", (long long)dl.file_offset);
    printf(" object '%s'\n object_offset %lld\n object_size %lld object_no %lld\n",
           dl.object_name, (long long)dl.object_offset, (long long)dl.object_size, (long long)dl.object_no);
    printf(" block_offset %lld\n block_size %lld\n",
           (long long)dl.block_offset, (long long)dl.block_size);
    ...

4.2 总结

  • 目前只有kernel版本支持CEPH_IOC_GET_DATALOC
  • 根据文件以及offset可以获取对应的object信息。 目前只支持内核kernel版本。

4.3 获取这个对象offset对应行的信息

问题点：

  • 一行数据可能会拆分为两个对象
  • 一行数据结尾符是否存在\n
  • 一行数据超大等问题

解决方案：

  • 用户给的offset属于这一行的开头， 只需要读取当前读取数据是否存在\n。
    a. 如果存在\n证明该行，属于完整的行。
    b. 否则不存在\n证明该行，被拆分为两个对象，读取当前offset对应的object 信息以及下一个对象的信息，直到遇到\n结束，然后合并两个对象读取的数据为完整的行。
  • 超大行或者不存在结尾符\n 自动截取1024字节数。

4.4 通过librados库，读取object的信息

 /* Declare the cluster handle and required arguments. */
    int                                 err;
    char                                cluster_name[] = "ceph";
    char                                user_name[] = "client.admin";
    uint64_t                            flags = 0;
    rados_t                             cluster;
    rados_ioctx_t                       io;
    rados_completion_t                  comp;



    /* Initialize the cluster handle with the "ceph" cluster name and the "client.admin" user */
    err = rados_create2(&cluster, cluster_name, user_name, flags);
    if (err < 0) {
            fprintf(stderr, "error: couldn't create the cluster handle poolname=[%s] object_name=[%s] offset=[%d] error=[%s]\n",
            poolname, object_name, offset, strerror(-err));
            return 1;
    }

    /* Read a Ceph configuration file to configure the cluster handle. */
    err = rados_conf_read_file(cluster, "/etc/ceph/ceph.conf");
    if (err < 0) {
            fprintf(stderr, "error: cannot read config file poolname=[%s] object_name=[%s] offset=[%d] error=[%s]\n",
            poolname, object_name, offset,  strerror(-err));
            return 1;
    }

    /* Connect to the cluster */
    err = rados_connect(cluster);
    if (err < 0) {
            fprintf(stderr, "error: cannot connect to cluster poolname=[%s] object_name=[%s] offset=[%d] error=[%s]\n",
            poolname, object_name, offset,  strerror(-err));
            return 1;
    }

    //create io
    err = rados_ioctx_create(cluster, poolname, &io);
    if (err < 0) {
            fprintf(stderr, "error: cannot open rados pool poolname=[%s] object_name=[%s] offset=[%d] error=[%s]\n",
            poolname, object_name, offset, strerror(-err));
            rados_shutdown(cluster);
            return 1;
    }

    /*
     * Read data from the cluster asynchronously.
     * First, set up asynchronous I/O completion.
     */
    err = rados_aio_create_completion(NULL, NULL, NULL, &comp);
    if (err < 0) {
            fprintf(stderr, "error: could not create aio completion poolname=[%s] object_name=[%s] offset=[%d] error=[%s]\n",
            poolname, object_name, offset, strerror(-err));
            rados_ioctx_destroy(io);
            rados_shutdown(cluster);
            return 1;
    }

    /* Next, read data using rados_aio_read. */
    err = rados_aio_read(io, object_name, comp, line, line_size, offset);
    if (err < 0) {
            fprintf(stderr, "error: cannot read object poolname=[%s] object_name=[%s] offset=[%d] error=[%s]\n",
            poolname, object_name, offset, strerror(-err));
            rados_ioctx_destroy(io);
            rados_shutdown(cluster);
            return 1;
    }
    /* Wait for the operation to complete */
    rados_aio_wait_for_complete(comp);
    /* Release the asynchronous I/O complete handle to avoid memory leaks. */
    rados_aio_release(comp);

    rados_ioctx_destroy(io);
    rados_shutdown(cluster);

4.5 项目工具

1. 源码地址

2099201-b933bf9eeb1a6bad.png
image.png

2. dss_readfile工具

  • 根据存储池、文件信息、offset获取对应的信息
//usage: dss_readfile <poolname> <filename> <offset>
./dss_readfile data nginx/logs/access.log.2018110216 1024

3. ngx_cephfs_readline

  • 为了提升性能以及用户体验，基于ceph module + librados 开发，充分利用nginx优秀的高并发性能。
//接口

http://127.0.0.1 :8088/v1/dss-cephfs/readfile


//请求body
{
    "poolname":"data",
    "filename":"/mnt/business.log.2018101708",
    "offset":1024
}

//响应body
{
    "code":1,
    "cost": 50,
    "data":"[INFO][2018-10-17T08:59:49.018+0800] xxxxxx"
}

4.7 资料

作者信息

作者：李航
个人简介： 多年的底层开发经验，在高性能nginx开发和分布式缓存redis cluster有着丰富的经验，目前从事分布式存储Ceph工作。
先后在58同城、汽车之家、优酷土豆集团工作。
目前供职于滴滴基础平台-技术专家岗位，主要负责分布式Ceph系统。
个人主要关注的技术领域：高性能Nginx开发、分布式缓存、分布式存储。

Lucien168
关注
ceph优化参数
09-18
ceph tell osd.* injectargs '--ms_nocrc ' ceph tell osd.* injectargs '--osd_max_write_size 1024 ' ceph tell osd.* injectargs '--osd_max_pgls 10240' ceph tell osd.* injectargs '--osd_op_threads 24' ceph tell osd.* injectargs '--osd_auto_weight ' ceph tell osd.* injectargs '--no-osd_enable_op_tracker ' ceph tell osd.* injectargs '--no-filestore_wbthrottle_enable ' ceph tell osd.* injectargs '--filestore_fiemap ' ceph tell osd.* injectargs '--filestore_journal_max_ops 5000 ' ceph tell osd.* injectargs '--filestore_queue_journal_max_ops 5000 ' ceph tell osd.* injectargs '--filestore_queue_max_ops 5000 ' ceph tell osd.* injectargs '--filestore_journal_parallel ' ceph tell osd.* injectargs '--filestore_op_threads 24' ceph tell osd.* injectargs '--journal_force_aio ' ceph tell osd.* injectargs '--journal_queue_max_ops 5000 ' ceph tell osd.* injectargs '--osd_disk_hreads 24' ceph tell osd.* injectargs '--osd_disk_threads 24'
Java访问Ceph数据的相关细节
cnhome的专栏
04-04 8076
Ceph很多公司内部已经进行了部署，当然也有很多公司使用阿里的OSS或者亚马逊的S3。在现在硬件廉价的大环境下，更多的公司愿意把自己的数据内容自我保管，实现企业私有云。下面我们来看一下如何使用Java技术栈来访问Ceph。 1. 部署LIBRADOS环境 客户端应用程序需要librados才能连接到Ceph存储集群。 1.1 安装jna.jar Debian/Ubuntu环境下执行以下命令 sud...
ceph存储服务结构介绍以及速度优化的方法_ceph 配置优化
最新发布
m0_v648374的博客
09-06 916
优化 CephFS（Ceph 文件系统）的性能需要综合考虑多个方面，包括 MDS（Metadata Server）、存储节点、网络、客户端等。优化 Ceph 的速度是一个持续的过程，需要综合考虑硬件、软件和网络等多个因素。在进行任何改变之前，请务必备份重要数据，并谨慎地测试和评估每一项改进的效果，以避免对生产环境造成负面影响。在 Ceph 中调整 RBD（RADOS 块设备）的性能，可以通过调整一些参数来优化其性能和稳定性。在更改这些参数之前，请先在测试环境中进行验证和评估，以确保对性能产生预期的影响。
你知道如何在Java中使用Ceph吗？
weixin_46372265的博客
07-16 676
Ceph是一种分布式存储系统，具备高度的可扩展性、性能和可靠性。它提供对象存储（RADOS）、块存储（RBD）和文件系统存储（CephFS）三种存储方式，适用于多种应用场景。Ceph的核心是一个统一的分布式存储集群，可以通过CRUSH（Controlled Replication Under Scalable Hashing）算法实现数据的分布与复制，从而保证数据的高可用性和一致性。
Ceph性能优化总结(v0.94)
老孙正经胡说
06-30 7310
如需转载请标明作者，原文地址：http://xiaoquqi.github.io/blog/2015/06/28/ceph-performance-optimization-summary/最近一直在忙着搞Ceph存储的优化和测试，看了各种资料，但是好像没有一篇文章把其中的方法论交代清楚，所以呢想在这里进行一下总结，很多内容并不是我原创，只是做一个总结。如果其中有任何的问题，欢迎各位喷我，以便我提高
Ceph性能优化与增强
渡江客涂鸦板
05-28 3085
Ceph是一个非常复杂的存储系统，它具有几种我们可以用来提高性能的方式。幸运的是，Ceph的开箱即用非常好，许多性能设置几乎利用了自动调整和缩放功能。在探索一些性能增强时，了解您的工作负载很重要，这样您就可以选择最适合您的选项。
分布式存储Cephfs读取优化方案.docx
10-13
分布式存储Cephfs读取优化方案 在当前的IT环境中，分布式存储系统如Cephfs在数据管理和处理大规模数据访问方面扮演着重要角色。Cephfs是一个基于Ceph的、可扩展的、高可用的文件系统，它为用户提供了一种在分布式...
分布式存储Ceph中PG各种状态详解.docx
10-13
### 分布式存储Ceph中PG各种状态详解 #### 一、PG介绍 在深入探讨Ceph中的Placement Group（简称PG）的各种状态之前，我们首先需要了解PG的基础概念及其在整个Ceph架构中的位置。 **1.1 PG的位置** PG位于RADOS...
分布式存储－ceph
07-21
Ceph作为一种先进的分布式存储系统，通过其独特的架构设计和技术实现，提供了高性能、高可靠性和可扩展性的存储解决方案。无论是对于大规模的数据中心还是云计算环境，Ceph都是一种值得考虑的选择。通过对Ceph的基本...
Ceph分布式存储平台指南.docx
10-12
Ceph是当前开源世界中的一种流行的分布式存储解决方案。许多企业IT基础设施经理们都需要了解Ceph是如何满足企业级存储产品的需求的。Ceph通过其三大存储接口满足了企业的多样需求，通过其建立之初就”大肆宣扬”的...
RedHat Ceph分布式存储-Glossary模块.pdf
10-13
标题中的“RedHat Ceph分布式存储”指的是Red Hat公司提供的基于Ceph技术的分布式存储解决方案。Ceph是一个开源的分布式存储系统，用于提供高扩展性、高可靠性和高性能的数据存储服务。Red Hat Ceph Storage利用Ceph...
Ceph性能优化 之 配置参数调优
热门推荐
梦幻之巅
05-05 2万+
该文同时发表在盛大游戏G云微信公众号，粘贴于此，方便各位查阅Ceph，相信很多IT朋友都听过。因为搭上了Openstack的顺风车，Ceph火了，而且越来越火。然而要用好Ceph却也不是件易事，在QQ群里就经常听到有初学者抱怨Ceph性能太烂，不好用。事实果真如此吗！如果你采用Ceph的默认配置来运行你的Ceph集群，性能自然不能如人意。俗话说，玉不琢,不成器；Ceph也有它的脾性，经过良好配置优化
Ceph性能测试、优化及硬件选型详解|万字长文
NewTyun的博客
12-03 9970
一般基准测试原则基准测试的主要测试案例是：线性读写（大块，长队列），单位MB/sIOPS（每秒输入/输出操作数）中的小块（4-8kb，iodepth=32-128）的高度并行随机读写IO...
Ceph分布式存储系统优化分析
渡江客涂鸦板
08-13 1361
本文介绍了Ceph分布式存储系统的发展历史和特点，并从内部优化机制、面向硬件设备和应用场景这3个方面梳理了现有的性能优化方法。作为一个开源的统一存储系统，Ceph提供了高性能、高可扩展性和高可用的块、文件和对象存取功能。Ceph的特点使之被广泛应用于云计算、高性能计算和大数据处理领域。目前，Ceph的性能优化研究工作虽然有一定的进展，但仍有很多问题尚未完全解决。
Ceph对象存储使用
梵修
05-07 1899
对象存储是无层次结构的数据存储方法，一般用于云计算环境。数据作为单独的对象进行存储数据并不存放在目录层次结构中，而是存在于平面地址结构的同一级别空间中应用通过唯一的地址来访问单个数据对象每个对象可以包含有助于数据检索的元数据对象是对象存储系统中数据存储的基本单位，每个对象是数据和数据属性集的综合体。数据属性可以根据应用需求而设置，包括数据分布、服务质量等。每个对象自我维护其属性，减轻了存储系统的管理任务对象的大小可以不同，甚至可以包括整个数据结构，比如：文件、数据库表项等。
Ceph优化系列（一）：Ceph架构及性能优化
Yannick Jiang 的专栏
05-23 2900
转载：Ceph架构及性能优化 对分布式存储系统的优化离不开以下几点： 1. 硬件层面 硬件规划 SSD选择 BIOS设置 2. 软件层面 Linux OS Ceph Configurations PG Number调整 CRUSH Map 其他因素 硬件层面 1、 CPU ceph-osd进程在运行过程中会消耗CPU资源，所以一般会为每一个ceph-osd进程绑...
ceph性能优化学习总结
crossuniverse的博客
03-17 457
ceph性能优化学习总结 很高兴最近机缘巧合与ceph结缘，今天总结一下。ceph是一种高可用、高性能、可动态扩展的分布式文件存储系统。主要有对象存储、文件存储以及块存储三种模式。其中文件存储是要元数据节点外，其他两种并不需要单独储存大量的元数据，从而可以节省很多资源。 关于ceph优化我所涉及的还比较有限，主要分为硬件优化和软件优化。 软件优化方面，有几点要注意： 1、PG数一定要提前设计好，做好调研工作，不然在集群正常运转情况下，修改PG数会导致发生...
Ceph性能优化
smart9527_zc的博客
12-31 2586
一、硬件选型 （1）服务器 1GHz CPU per  OSD （the  more the better） 1GB  RAM  per OSD 1GHz  CPU*4  per  MON 4GB  RAM  per  MON （2）硬盘 SSD、HDD配比1:3~5 （推荐使用Intel DC 3700或同等级以上SSD）  每个物理节点OSD数量最好控制在单机最大网络带宽以内（...
Ceph读写性能估算方法
bandaoyu的note
05-09 842
前言 最近在做Ceph性能测试相关工作，在测试初期由于没有得到理想的测试结果，因此对Ceph集群进行了优化，但是一直有个问题萦绕在我的脑海：基于当前硬件配置，这个Ceph集群的极限是多少？ 由于这个问题和Ceph的配置息息相关，为了简化问题，在本文中我们只会会讨论3个变量：冗余策略（纠删码、多副本），读/写，ObjectStore。我们将会基于磁盘、网络、CPU性能来估算出一个集群的性能，除此以外的参数影响均归并到损耗系数μ这个变量。本文会分别解释写性能公式推演、读性能公式推演，并且在每个推演中加入冗余
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值