系统centos7.9 ubuntu20.04 支持ceph-deploy工具
注意注释要#开头 错行了会ceph-deploy 操作时候报错。egrep -v “^￥|^#” 过滤 ceph.conf
基本的参数不做解释了，参数源自ceph官网
[global]
auth_allow_insecure_global_id_reclaim = false
#我们强烈建议将系统中的所有客户端升级到可正确回收 global_id 值的较新版本的 Ceph。更新所有客户端后，您可以通过以下方式停止允许不安全的重新连接
journal_ignore_corruption = true
fsid = 6bcfb807-7978-480c-8304-281f2fba1a99
public_network = 10.10.100.0/24
cluster_network = 10.20.100.0/24
mon_initial_members = ops1,ops2,ops3
mon_host = 10.10.100.11,10.10.100.12,10.10.100.13
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size = 2
# 最小副本数,默认是3
osd_pool_default_min_size = 1
# PG处于degraded(降级)状态不影响其IO能力,min_size是一个PG能接受IO的最小副本数,默认是2
max_open_files = 1048576
# 默认0,如果设置了该选项,Ceph会设置系统的max open fds
mon_pg_warn_max_per_osd = 3000
# 每个osd上pg数量警告值,这个可以根据具体规划来设定
mon_osd_full_ratio = .90
# 存储使用率达到90%将不再提供数据存储
mon_osd_nearfull_ratio = .80
# 存储使用率达到80%集群将会warn状态
osd_scrub_randomize_ratio = 0.05
# 随机清洗概率,值越大,随机清洗概率越高,太高会影响业务
osd_deep_scrub_randomize_ratio = 0.01
# 随机深度清洗概率,值越大,随机深度清洗概率越高,太高会影响业务
osd scrub interval = 7
#每隔7天执行一次常规清洗。
osd deep-scrub interval = 30
#每隔30天执行一次深度清洗。
osd scrub start hour = 2
#每天凌晨2点开始清洗操作。
osd scrub end hour = 6
#每天凌晨6点结束清洗操作。
rbd_default_features = 1
# 解决rbd image挂载,OS kernel不支持块设备镜像一些特性的问题
osd pool default pg num = 64
osd pool default pgp num = 64
rgw_host = 10.10.100.11,10.10.100.12,10.10.100.13
# radosgw 对象网关节点
#rgw_frontends = civetweb port=22000+24000s ssl_certificate=/etc/ceph/server.pem
rgw_frontends = civetweb port=22000
num_threads=1000
request_timeout_ms=60000
# 客户端请求超时6s
crash_dir = /var/lib/ceph/crash
erasure_code_dir = /usr/lib64/ceph/erasure-code
osd_erasure_code_plugins = jerasure lrc isa
rgw_data = /var/lib/ceph/radosgw/ceph-$id
mds_data = /var/lib/ceph/mds/ceph-$id
[mon]
mon_data = /var/lib/ceph/mon/ceph-$id
mon_clock_drift_allowed = 2
# 默认值0.05s,monitor间的clock drift(时钟偏移)
mon_clock_drift_warn_backoff = 30
# 默认值5,时钟偏移警告的退避指数
mon_osd_min_down_reporters = 13
# 默认值1,向monitor报告OSD down的最小次数
mon_osd_down_out_interval = 600
# 默认值300,标记一个OSD状态为down和out之前ceph等待的秒数
mon_allow_pool_delete = true
# true,允许Ceph存储池被删除
[mgr]
mgr_data = /var/lib/ceph/mgr/ceph-$id
[osd]
osd_data = /var/lib/ceph/osd/ceph-$id
osd_mkfs_type = xfs
# 格式化文件系统类型,默认是xfs
osd_max_write_size = 4096
# 默认值90,OSD一次可写入的最大值(MB)
osd_client_message_size_cap = 2147483648
# 默认值100,客户端允许在内存中的最大数据(bytes)
osd_deep_scrub_stride = 131072
# 默认值524288,在Deep Scrub(数据清洗)时候允许读取的字节数
osd_op_threads = 16
# 默认值2,并发文件系统操作数
osd_disk_threads = 4
# 默认值1,OSD密集型操作例如恢复和Scrubbing时的线程
osd_map_cache_size = 4096
# 默认值500,保留OSD Map的缓存(MB)
osd_map_cache_bl_size = 2048
# 默认值50,OSD进程在内存中的OSD Map缓存(MB)
osd_mount_options_xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier"
osd_recovery_op_priority = 2
# 默认值10,恢复操作优先级,取值1-63,值越高占用资源越高,优先级也越高
osd_recovery_max_active = 10
# 默认值15,同一时间内活跃的恢复请求数,即每个OSD上同时进行的所有PG的恢复操作的最大数量
osd_max_backfills = 4
# 默认值10,一个OSD上允许最多有多少个pg同时做backfills,太大会影响业务
osd_min_pg_log_entries = 30000
# 默认值3000,PGLog保留的最小PGLog数
osd_max_pg_log_entries = 100000
# 默认值10000,PGLog保留的最大PGLog数
osd_mon_heartbeat_interval = 40
# 默认值30s,OSD ping一个monitor的时间间隔
ms_dispatch_throttle_bytes = 1048576000
# 默认值104857600,等待派遣的最大消息数(bytes)
objecter_inflight_ops = 819200
# 默认值1024,客户端流控,允许的最大未发送io请求数,超过阀值会堵塞应用io,为0表示不受限
osd_op_log_threshold = 50
# 默认值5,一次显示多少操作的log
osd_crush_chooseleaf_type = 0
# 默认值为1,CRUSH规则用到chooseleaf时的bucket的类型,0 表示让数据尽量散列
osd_recovery_max_single_start = 1
# OSD在某个时刻会为一个PG启动恢复操作数。
# 和osd_recovery_max_active一起使用,假设我们配置osd_recovery_max_single_start为1,osd_recovery_max_active为10,
# 那么,这意味着OSD在某个时刻会为一个PG启动一个恢复操作,而且最多可以有10个恢复操作同时处于活动状态。
osd_recovery_max_chunk = 1048576
# 默认为8388608, 设置恢复数据块的大小,以防网络阻塞
osd_recovery_threads = 10
# 恢复数据所需的线程数
osd_recovery_sleep = 0
# 默认为0,recovery的时间间隔,会影响recovery时长,如果recovery导致业务不正常,可以调大该值,增加时间间隔
# 通过sleep的控制可以大大的降低迁移磁盘的占用,对于本身磁盘性能不太好的硬件环境下,可以用这个参数进行一下控制,能够缓解磁盘压力过大引起的osd崩溃的情况
# 参考值: sleep=0;sleep=0.1;sleep=0.2;sleep=0.5
osd_crush_update_on_start = true
# 默认true。false时,新加的osd会up/in,但并不会更新crushmap,prepare+active期间不会导致数据迁移
osd_op_thread_suicide_timeout = 600
# 防止osd线程操作超时导致自杀,默认150秒,这在集群比较卡的时候很有用
osd_op_thread_timeout = 300
# osd线程操作超时时间,默认15秒
osd_recovery_thread_timeout = 300
# osd恢复线程超时时间,默认30秒
osd_recovery_thread_suicide_timeout = 600
# 防止osd恢复线程超时导致自杀,默认300秒,在集群比较卡的时候也很有用
osd_memory_target = 4294967296
# osd最大使用内存量,单位为字节,配置为4GB
osd_scrub_begin_hour = 0
# 开始scrub的时间(含deep-scrub),为每天0点
osd_scrub_end_hour = 8
# 结束scrub的时间(含deep-scrub),为每天8点,这样将deep-scrub操作尽量移到夜间相对client io低峰的时段,避免影响正常client io
osd_max_markdown_count = 10
# 当osd执行缓慢而和集群失去心跳响应时,可能会被集群标记为down(假down),默认为5次,超过此次数osd会自杀,必要时候可设置osd nodown来避免这种行为
[client]
rbd_cache_enabled = true
# 默认值 true,RBD缓存
rbd_cache_size = 2147483648
#配置为2GB,RBD能使用的最大缓存大小(bytes)
rbd_cache_max_dirty = 2147483648
# 配置为2GB,缓存为write-back时允许的最大dirty(脏)字节数(bytes),不能超过 rbd_cache_size,如果为0,使用write-through
rbd_cache_target_dirty = 2147483648
# 配置为2GB,开始执行回写过程的脏数据大小,不能超过rbd_cache_max_dirty
rbd_cache_max_dirty_age = 30
# 默认值1,在被刷新到存储盘前dirty数据存在缓存的时间(seconds),避免可能的脏数据因为迟迟未达到开始回写的要求而长时间存在
rbd_cache_writethrough_until_flush = false
# 默认值true,该选项是为了兼容linux-2.6.32之前的virtio驱动,避免因为不发送flush请求,数据不回写。设置该参数后,librbd会以writethrough的方式执行io,直到收到第一个flush请求,才切换为writeback方式。
rbd_cache_max_dirty_object = 2
# 默认值0,最大的Object对象数,默认为0,表示通过rbd cache size计算得到,librbd默认以4MB为单位对磁盘Image进行逻辑切分。
# 每个chunk对象抽象为一个Object；librbd中以Object为单位来管理缓存,增大该值可以提升性能。
rgw_dynamic_resharding = false
# 关闭rgw自动动态index分片,防止丢index的情况,但需要定期手动进行reshard操作,默认值true
rgw_cache_enabled = true
# 开启RGW cache,默认为true
rgw_cache_expiry_interval = 900
# 缓存数据的过期时间(seconds),默认900
rgw_thread_pool_size = 2000
# rgw进程的线程数目,默认512
rgw_cache_lru_size = 20000
# RGW 缓存entries的最大数量,当缓存满后会根据LRU算法做缓存entries替换,entries size默认为10000
扫一扫
2074
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
