目录
即看即用
1 运行时
查看配置
运行时执行下列命令,用 osd 、 mon 或 mds 替代 {daemon-type}:
ceph daemon {daemon-name} config show | less
例如:
ceph daemon osd.0 config show | less
激活 Ceph 的调试输出(dout() )
ceph tell 命令把参数注入运行时配置:
ceph tell {daemon-type}.{daemon id or *} injectargs --{name} {value} [--{name} {value}]
用 osd 、 mon 或 mds 替代 {daemon-type} 。 * 同类型的所有守护进程,id:指定具体守护进程。例如:
ceph tell osd.0 injectargs --debug-osd 0/5
ceph tell 命令会通过 monitor 起作用。如果你不能绑定 monitor,仍可以登录你要改的那台主机然后用 ceph daemon 来更改。例如:
sudo ceph daemon osd.0 config set debug_osd 0/5
2 启动时
激活 Ceph 的调试输出(dout() )
把选项加入配置文件, [global]
段:各进程共有, [mon]
、 [osd]
、 [mds]
:某类进程的配置。例如:
[global]
debug ms = 1/5
[mon]
debug mon = 20
debug paxos = 1/5
debug auth = 2
[osd]
debug osd = 1/5
debug filestore = 1/5
debug journal = 1
debug monc = 5/20
[mds]
debug mds = 1
debug mds balancer = 1
debug mds log = 1
debug mds migrator = 1
3 加速日志更迭
logrotate是linux下负责检查日志和切割轮转的服务,它的配置文件在 /etc/logrotate.d/目录下,/etc/logrotate.d/ceph是ceph添加的配置,
例如默认配置大致如此:
rotate 7
weekly
compress
sharedscripts
增加一个 size 选项,表示当日志的size达到500M就执行切割和轮转( rotate 7只保留最近7个日志文件)
rotate 7
weekly
size 500M
compress
sharedscripts
然后,打开 crontab 编辑器。
crontab -e
最后,增加一条用以检查 /etc/logrorate.d/ceph 文件的语句。
30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph >/dev/null 2>&1
本例中每 30 分钟检查一次 /etc/logrorate.d/ceph 文件。
4 子系统、日志和调试设置
大多数情况下,你可以通过子系统打开调试日志输出。
日志文件(log file level)和 内存日志(memory level),可以子系统(ms、osd、rdb等)设置为统一级别,也可以分别为不同级别(用正斜杠(/)分隔它们)。如下:
debug {subsystem} = {log-level}/{memory-level}
#for example
#日志文件级别 和 内存日志级别都设置成5
debug ms = 5
#日志文件级别设置为1,内存日志级别设置为5
debug ms = 1/5
详细说明
内容:
Ceph日志分类(一个分两类log file level和memory level)、怎么设置日志级别、日志存在哪个目录等
日志和调试
一般来说,你应该在运行时增加调试选项来调试问题;也可以把调试选项添加到 Ceph 配置文件里来调试集群启动时的问题,然后查看 /var/log/ceph (默认位置)下的日志文件。
查看日志路径的命令,请参考:ceph命令系列(一):ceph-deploy/ceph/rados/rbd 常用命令详解
Tip: 调试输出会拖慢系统,这种延时有可能掩盖竞争条件。
日志记录是资源密集型任务。如果你碰到的问题在集群的某个特定区域,只启用那个区域对应的日志功能即可。例如,你的 OSD 运行良好、元数据服务器却有问题,这时应该先打开那个可疑元数据服务器实例的调试日志;如果不行再打开各子系统的日志。
重要: 详尽的日志每小时可能超过 1GB ,如果你的系统盘满了,这个节点就会停止工作。
如果你要打开或增加 Ceph 日志级别,确保有足够的系统盘空间。滚动日志(Log Rotation)的方法见下面的 加速日志更迭 小节。集群稳定运行后,可以关闭不必要的调试选项以优化运行。集群在运行中记录调试输出信息会拖慢系统、且浪费资源。
运行时
如果你想在运行时查看某一进程的配置,必须先登录对应主机,然后执行下列命令,用 osd 、 mon 或 mds 替代 {daemon-type}:
ceph daemon {daemon-name} config show | less
例如:
ceph daemon osd.0 config show | less
要在运行时激活 Ceph 的调试输出(即 dout() ),用 ceph tell 命令把参数注入运行时配置:
ceph tell {daemon-type}.{daemon id or *} injectargs --{name} {value} [--{name} {value}]
用 osd 、 mon 或 mds 替代 {daemon-type} 。还可以用星号( * )把配置应用到同类型的所有守护进程,或者指定具体守护进程的 ID 。例如,要给名为 ods.0 的 ceph-osd 守护进程提高调试级别,用下列命令:
ceph tell osd.0 injectargs --debug-osd 0/5
ceph tell 命令会通过 monitor 起作用。如果你不能绑定 monitor,仍可以登录你要改的那台主机然后用 ceph daemon 来更改。例如:
sudo ceph daemon osd.0 config set debug_osd 0/5
启动时
要在启动时激活调试输出(即 dout() ),你得把选项加入配置文件。各进程共有配置可写在配置文件的 [global] 段下,某类进程的配置可写在对应的守护进程段下(如 [mon] 、 [osd] 、 [mds] )。例如:
[global]
debug ms = 1/5
[mon]
debug mon = 20
debug paxos = 1/5
debug auth = 2
[osd]
debug osd = 1/5
debug filestore = 1/5
debug journal = 1
debug monc = 5/20
[mds]
debug mds = 1
debug mds balancer = 1
debug mds log = 1
debug mds migrator = 1
加速日志更迭
如果你的系统盘比较满,可以修改 /etc/logrotate.d/ceph 内的日志滚动配置以加快滚动。在滚动频率后增加一个日志 size 选项(达到此大小就滚动)来加快滚动(通过 cronjob )。例如默认配置大致如此:
rotate 7
weekly
compress
sharedscripts
增加一个 size 选项。
rotate 7
weekly
size 500M
compress
sharedscripts
然后,打开 crontab 编辑器。
crontab -e
最后,增加一条用以检查 /etc/logrorate.d/ceph 文件的语句。
30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph >/dev/null 2>&1
本例中每 30 分钟检查一次 /etc/logrorate.d/ceph 文件。
VALGRIND 工具
调试时可能还需要追踪内存和线程问题。你可以在 Valgrind 中运行单个守护进程、一类进程、或整个集群。 Valgrind 是计算密集型程序,应该只用于开发或调试 Ceph,否则它会拖慢系统。Valgrind 的消息会记录到 stderr 。
子系统、日志和调试设置
大多数情况下,你可以通过子系统打开调试日志输出。
各子系统都有日志级别用于分别控制其输出到日志文件(log file level)和 内存日志(memory level),你可以分别为这些子系统设置不同的记录级别。如下:
debug {subsystem} = {log-level}/{memory-level}
#for example
debug ms = 5
如果指定debug ms=5,CEPH将把它视为把日志级别 和 内存级别都设置成5。您也可以单独指定它们。第一个设置是日志级别,第二个设置是内存级别。必须用正斜杠(/)分隔它们。例如,如果要将MS子系统的调试日志记录级别设置为1,并将其内存级别设置为5,则将其指定为debug ms=1/5。例如:
Ceph 的日志级别范围是 1~20 , 1 是简洁、 20 是详细。通常,内存驻留日志不会发送到输出日志,除非:
致命信号出现,或者
源码中的 assert 被触发,或者
明确要求发送。
Ceph 子系统及其默认日志和内存级别具体见Ceph官方文档 SUBSYSTEM, LOG AND DEBUG SETTINGS 。一旦你完成调试,应该恢复默认值,或一个适合平常运营的级别。
下表列出了CEPH子系统的 默认日志级别 和内存日志级别。你可以在完成日志记录工作后,将子系统恢复到默认级别或适合正常操作的级别。
(图表见原文)
原文链接:https://blog.csdn.net/don_chiang709/article/details/95628708