MongoDB日志切换（Rotate Log Files）方法及注意事项

最新推荐文章于 2024-08-24 07:53:06 发布
最新推荐文章于 2024-08-24 07:53:06 发布
阅读量1.6k 收藏
点赞数
文章标签： 数据库 c/c++ jira
原文链接：https://yq.aliyun.com/articles/426385
版权

MongoDB日志切换（Rotate Log Files）方法及注意事项

 

转载自：http://duoyun.org/topic/512047a5cd0cc40a0a04c381

 

MongoDB日志默认不会切换，生产系统尤其是压力大的系统，日志滚动速度非常快，我们上线系统最大的一个mongod进程的log每天增长5G多。目前采取策略是每天切换一次，保存一周的日志。


目前采取的方法：

· SIGUSR1 方法

killall -SIGUSR1 mongod   
每天0点定时执行来达切换日志。


大部分情况下并无问题，但近期集中出现了两台服务器日志切换时出现问题，0点到0点20分左右，日志是空的。mongod 或者config报警，进程重启（自动），该bug至少要到2.5.x才修复。MongoDB的稳定性目前确实不尽人意。

 

· 采取mongo shell logRotate 来避免该bug

use admin   
db.runCommand( { logRotate : 1 } )    
此方法需要在mongos,mongod,config server运行，不能一次性切换所有日志。

 

logRotate命令也有‘bug’，这两天出现了两次（版本2.2.2）：

Sat May 4 00:01:02 [conn96028478] ERROR: Failed to rename /export/data/mongodb/log/mongod.log to /export/data/mongodb/log/mongod.log.2013-05-03T16-01-02 Fatal Assertion 16175

0xaffd31 0xac5323 0x70f4f1 0x6e8d71 0x6ea5e2 0x6eb59c 0x832c68 0x8363b0 0x7b072d 0x7b3a53 0x5703f2 0xaedfc1 0x32ad2077f1 0x32acee570d

/export/servers/mongodb/bin/mongod(_ZN5mongo15printStackTraceERSo+0x21) [0xaffd31]

/export/servers/mongodb/bin/mongod(_ZN5mongo13fassertFailedEi+0xa3) [0xac5323]

/export/servers/mongodb/bin/mongod() [0x70f4f1]

/export/servers/mongodb/bin/mongod(_ZN5mongo12_execCommandEPNS_7CommandERKSsRNS_7BSONObjEiRNS_14BSONObjBuilderEb+0x51) [0x6e8d71]

/export/servers/mongodb/bin/mongod(_ZN5mongo11execCommandEPNS_7CommandERNS_6ClientEiPKcRNS_7BSONObjERNS_14BSONObjBuilderEb+0xd52) [0x6ea5e2]

/export/servers/mongodb/bin/mongod(_ZN5mongo12_runCommandsEPKcRNS_7BSONObjERNS_11_BufBuilderINS_16TrivialAllocatorEEERNS_14BSONObjBuilderEbi+0x2ac) [0x6eb59c]

/export/servers/mongodb/bin/mongod(_ZN5mongo11runCommandsEPKcRNS_7BSONObjERNS_5CurOpERNS_11_BufBuilderINS_16TrivialAllocatorEEERNS_14BSONObjBuilderEbi+0x38) [0x832c68]

/export/servers/mongodb/bin/mongod(_ZN5mongo8runQueryERNS_7MessageERNS_12QueryMessageERNS_5CurOpES1_+0xc10) [0x8363b0]

/export/servers/mongodb/bin/mongod() [0x7b072d]

/export/servers/mongodb/bin/mongod(_ZN5mongo16assembleResponseERNS_7MessageERNS_10DbResponseERKNS_11HostAndPortE+0x3a3) [0x7b3a53]

/export/servers/mongodb/bin/mongod(_ZN5mongo16MyMessageHandler7processERNS_7MessageEPNS_21AbstractMessagingPortEPNS_9LastErrorE+0x82) [0x5703f2]

/export/servers/mongodb/bin/mongod(_ZN5mongo3pms9threadRunEPNS_13MessagingPortE+0x411) [0xaedfc1]

/lib64/libpthread.so.0() [0x32ad2077f1]

/lib64/libc.so.6(clone+0x6d) [0x32acee570d]

Sat May 4 00:01:02 [conn96028478]

***aborting after fassert() failure

Sat May 4 00:01:02 Got signal: 6 (Aborted).

Sat May 4 00:01:02 Backtrace:

0xaffd31 0x558bb9 0x32ace32900 0x32ace32885 0x32ace34065 0xac535e 0x70f4f1 0x6e8d71 0x6ea5e2 0x6eb59c 0x832c68 0x8363b0 0x7b072d 0x7b3a53 0x5703f2 0xaedfc1 0x32ad2077f1 0x32acee570d

/export/servers/mongodb/bin/mongod(_ZN5mongo15printStackTraceERSo+0x21) [0xaffd31]

/export/servers/mongodb/bin/mongod(_ZN5mongo10abruptQuitEi+0x399) [0x558bb9]

/lib64/libc.so.6() [0x32ace32900]

/lib64/libc.so.6(gsignal+0x35) [0x32ace32885]

/lib64/libc.so.6(abort+0x175) [0x32ace34065]

/export/servers/mongodb/bin/mongod(_ZN5mongo13fassertFailedEi+0xde) [0xac535e]

/export/servers/mongodb/bin/mongod() [0x70f4f1]

/export/servers/mongodb/bin/mongod(_ZN5mongo12_execCommandEPNS_7CommandERKSsRNS_7BSONObjEiRNS_14BSONObjBuilderEb+0x51) [0x6e8d71]

/export/servers/mongodb/bin/mongod(_ZN5mongo11execCommandEPNS_7CommandERNS_6ClientEiPKcRNS_7BSONObjERNS_14BSONObjBuilderEb+0xd52) [0x6ea5e2]

/export/servers/mongodb/bin/mongod(_ZN5mongo12_runCommandsEPKcRNS_7BSONObjERNS_11_BufBuilderINS_16TrivialAllocatorEEERNS_14BSONObjBuilderEbi+0x2ac) [0x6eb59c]

/export/servers/mongodb/bin/mongod(_ZN5mongo11runCommandsEPKcRNS_7BSONObjERNS_5CurOpERNS_11_BufBuilderINS_16TrivialAllocatorEEERNS_14BSONObjBuilderEbi+0x38) [0x832c68]

/export/servers/mongodb/bin/mongod(_ZN5mongo8runQueryERNS_7MessageERNS_12QueryMessageERNS_5CurOpES1_+0xc10) [0x8363b0]

/export/servers/mongodb/bin/mongod() [0x7b072d]

/export/servers/mongodb/bin/mongod(_ZN5mongo16assembleResponseERNS_7MessageERNS_10DbResponseERKNS_11HostAndPortE+0x3a3) [0x7b3a53]

/export/servers/mongodb/bin/mongod(_ZN5mongo16MyMessageHandler7processERNS_7MessageEPNS_21AbstractMessagingPortEPNS_9LastErrorE+0x82) [0x5703f2]

/export/servers/mongodb/bin/mongod(_ZN5mongo3pms9threadRunEPNS_13MessagingPortE+0x411) [0xaedfc1]

/lib64/libpthread.so.0() [0x32ad2077f1]

/lib64/libc.so.6(clone+0x6d) [0x32acee570d]

对应源码：

class LogRotateCmd : public Command {

public:

LogRotateCmd() : Command( "logRotate" ) {}

virtual LockType locktype() const { return NONE; }

virtual bool slaveOk() const { return true; }

virtual bool adminOnly() const { return true; }

virtual bool run(const string& ns, BSONObj& cmdObj, int, string& errmsg, BSONObjBuilder& result, bool fromRepl) {

fassert(16175, rotateLogs());

return 1;

}

} logRotateCmd;

 

rotateLogs()返回结果不对。

 

bool rotateLogs() {

return loggingManager.rotate();

}

rotateLogs()->rotate()

bool rotate() {

if ( ! _enabled ) {

cout << "LoggingManager not enabled" << endl;

return true;

}

if ( _file ) {

#ifdef POSIX_FADV_DONTNEED

posix_fadvise(fileno(_file), 0, 0, POSIX_FADV_DONTNEED);

#endif

// Rename the (open) existing log file to a timestamped name

stringstream ss;

ss << _path << "." << terseCurrentTime( false );

string s = ss.str();

if (0 != rename(_path.c_str(), s.c_str())) {

error() << "Failed to rename " << _path << " to " << s;

return false;

}

}

...

return true;

}

 

显然是rename函数运行出来问题。rename应该是boost::filesystem::rename函数，而filesystem/v3 有个bug ，rename文件时如果存在相同的目标文件名，会抛异常：   
boost::filesystem::rename throw exception when target file exists, but documentation tell us that it must be replaced    
https://svn.boost.org/trac/boost/ticket/2866    
MongoDB 2.2.2恰恰就是用的该版本。


那么mongod down的原因只能是还有别的进程在切日志，要不没法解释，这就的查查有没有别的机器连上了切日志。结果发现该机器mongo用户下有个相同的crontab 任务，而正常情况下都是用root用户的。自此罪魁祸首找到了！再深的bug都有个简单的源头！

 

另外：logRotate相关bug在2.2.5、2.4.3版本解决，详见SERVER-4739。

 

日志切换相关两个断言：   
16175 is for a failure of the 'logRotate' command (e.g. 'db.adminCommand("logRotate")').    
16176 is for a failure when SIGUSR1 has been received (not available on Windows).

 

· 使用syslog管理日志

2.2版本以后可采用--syslog选项，将日志由syslog管理。用syslog特性来切换日志。


修改/etc/rsyslog.conf    
.info;mail.none;authpriv.none;cron.none;user.none /var/log/messages     
user. /export/data/log/mongosyslog.log

 

修改/etc/logrotate.conf ，添加：   
/export/data/log/mongosyslog.log {    
missingok    
daily    
rotate 7    
postrotate    
/usr/bin/kill -HUP rsyslogd    
endscript    
}

 

设置了每天切换一次，手动切换方法logrotate -f /etc/logrotate.conf


more:    
https://groups.google.com/forum/?fromgroups=#!topic/mongodb-user/7buu-XYvSjs    
https://jira.mongodb.org/browse/SERVER-4739    
https://jira.mongodb.org/browse/SERVER-3339    
http://docs.mongodb.org/manual/tutorial/rotate-log-files/#rotate-log-files

 

更新ERROR:    
Failed to rename /export/data/mongodb/log/mongod.log to /export/data/mongodb/log/mongod.log.2013-05-03T16-01-02 Fatal Assertion 16175部分

 

日志切换另一个bug https://jira.mongodb.org/browse/SERVER-9578    
目前2.2.5,2.4.4均已修复。

















本文转自UltraSQL51CTO博客，原文链接：http://blog.51cto.com/ultrasql/1620672 ，如需转载请自行联系原作者


Joe?
关注
MongoDB之rotate log
深海微澜
11-11 1201
当mongodb实例启动时指定logpath或systemLog.path参数，mongod和mongos实例将向日志文件中持续的记录数据库的活动日志。 而MongoDB默认情况下不会自动的切换日志的，这将会导致服务日志日渐增大，在业务繁忙的场景，日志的增长量会非常大。持续增长的日志文件，不仅占用系统磁盘，并且还会拖慢服务器的运行速度。所以我们需要能对服务日志进行日志切换。 在MongoDB中，切换日志的触发条件有两种： 1、admin库下执行logRotate命令。 useadmin...
ruby on rails rotate log file（日志文件）
lovenkcs的专栏
04-02 1210
在ruby on rails中，为了使日志文件按照我们希望的方式增加，我们需要注意一下几个文件： 在我用的rails中，   ## because in config warble.rb file the ENV['RAILS_ENV'] = 'development'   ## the log file will only call the development file, an
MongoDB Log解析与使用指南
最新发布
gitblog_00236的博客
08-24 910
MongoDB Log解析与使用指南 mongodb-logMongoDB python logging handler. Python centralized logging made easy. 项目地址:https://gitcode.com/gh_mirrors/mo/mongodb-log 项目概述 本教程旨在指导用户了解并使用位于https://github.com/andreisa...
MongoDB 日志切换
清风名
06-13 309
MongoDB默认情况下不会自动的切换轮转日志的，这将会导致日志日渐增大，在繁忙的业务下，日志增长量非常大的。如此之大的日志文件，查看某天的日志也不太方便。如是，需要对mongodb 日志文件进行切换，保留7天。 [size=medium][b]1. SIGUSR1 方法[/b][/size] [code="shell"] # kill -SIGUSR1 # find /data...
MongoDB 日志切换（Rotate Log Files）实战
06-14 304
MongoDB 日志切换（Rotate Log Files）实战 2019.03.09 14:42274浏览 MongoDB 日志切换（Rotate Log Files）实战 1. 在mongo shell下，执行logRotate命令： use admin ...
【MongoDB】日志文件过大/logRotate解决日志轮转的方案
chechengtao
04-27 3156
由于mongodb不提供自动按天来输出日志文件的rotate配置。如果日志文件清理不及时，会导致mongo越来越慢，甚至服务莫名down掉。本文给出在实践过程中使用logRotate的解决日志文件切割的方案，仅供参考。
MongoDB运行日志实现自动分割的方法实例
12-16
因此，MongoDB提供了日志旋转（Rotate MongoDB log files）的功能，以实现日志的自动分割，保持单个日志文件的大小在可控范围内。 日志旋转通常涉及以下步骤： 1. **配置MongoDB实例启动参数**： 在MongoDB的配置...
MongoDB配置按天存储日志文件完结篇
06-14 540
MongoDB配置按天存储日志文件 2017年11月28日 10:14:39羊子雄起阅读数 2059 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u010499087/article/details/78652114 mong...
mongo日志按天切割
yida_young的博客
09-02 797
mongo日志按天切割 mongodb日志默认是单个文件的append模式，也就意味着日志文件会愈来愈大 可以通过mongodb提供的logRotate逻辑实现一个日志切割和过期日志删除的脚本 脚本内容如下 #!/bin/sh source /root/.bashrc DAYS=7 #DAYS=7代表删除7天前的备份，即只保留最近7天的备份 echo -e "use admin \n db.r...
使用monstache同步mongodb数据到elasticsearch
哇哦~
11-11 1645
背景 elasticsearch常用来全文本搜索，而mongodb不太适合做这种文本搜索，因此需要做数据冗余，将需要搜索的数据同步到elasticsearch中。最直接想到的方法就是代码里双写，写到mongodb成功后，再写入到elasticsearch 中，但是这样会带来一些问题，写入的地方可能很多，需要在很多地方都插入写入es的代码，这就导致代码复杂，还会导致数据不一致的问题，如果某些地方漏掉的话。如果我们有一个工具能监听到mongodb的改变，并且 近实时的同步到es中，这样就很方便，省事。
Mongodb日志定时切换
tang_jin2015的专栏
02-22 2680
Mongodb日志切割 在最初设计mongodb数据库的时候，依据客户端查询来设计集合的片键及索引，最近几天突然需要查询历史数据进行分析，我们的有些集合count达到亿条以上，每个文档几百个字段。突如其来的查询分析，数据库非常的卡，尤其这几天刚刚加入一个新的分片。前天上午来看，发现主分片竟然奔溃了，至于为什么查询量大，数据库会奔溃，需要后续进行分析。 遇到问题第一反应是看日志文件，拿到note
创建服务的时候发生了Renamed existing log file错误
Technology_hands的博客
04-27 2427
事件： 当我在 命令提示符 中想要创建服务的时候发生了错误，是有重命名的现有日志文件。 代码： mongod --logpath="D:/ruanjian/mongoDB2/log/mongod.log" --dbpath="D:/ruanjian/mongoDB2/data" --install --auth 错误： {"t":{"$date":"2022-04-27T14:18:43.291Z"},"s":"I", "c":"CONTROL", "id":20697, "ctx":"-","ms...
mac 卸载重装mongodb步骤及遇到的常见问题，Failed to unlink socket file，Renamed existing log file，child process faile
DJF15813394851的博客
03-07 1727
卸载 到mongodb所在目录下 我本地是 /usr/local 执行 rm -rf mongodb 重装 # 进入 /usr/local cd /usr/local # 下载 sudo curl -O https://fastdl.mongodb.org/osx/mongodb-osx-ssl-x86_64-4.0.9.tgz # 解压 sudo tar -zxvf mongodb-osx-ssl-x86_64-4.0.9.tgz # 重命名为 mongodb 目录 sudo mv mongod
MongoDB 3.6 单机多实例搭建及主从自动切换验证
vkingnew 的技术博客
08-29 1524
运行环境：CentOS + MongoDB 3.6.6 目录规划： 运行的软件目录位于：/usr/local/mongodb 序列 端口 配置文件 数据目录 日志文件 1 2700 /data/mongodb/2700.conf /data/mongodb/mongo2700 /data/mongodb/mon...
mongo- 日志文件切换
lixiaoweihubin的专栏
12-18 497
repairDatabase命令是MongoDB内置的一个方法，调用这个方法MongoDB会扫描数据库中的所有数据，并将通过导入/导出来重新整理数据集合，将碎片清理干净。
MongoDB日志轮转
weixin_33910460的博客
04-01 358
在配置文件中添加参数logpath=/data/app_data/mongodb/log/mongodb.log logappend=trueWindows下只有这种日志轮转方式>useadmin; switchedtodbadmin >db.runCommand({logRotate:1}) {"ok":1}Linux下还可以通过设置定...
mongo运行时日志
zlhblogs的博客
05-05 1316
在 MongoDB 中，可以通过设置运行时日志级别来控制 MongoDB 的日志输出详细程度。运行时日志级别设置为 3，即输出警告信息。需要注意的是，过高的日志级别会增加日志文件的大小，因此在实际使用中需要根据具体需求进行配置。2、MongoDB 还支持在运行时动态修改日志级别可以使用 db.setLogLevel(3) 命令来进行设置。
MongoDB：切换log日志文件
彭世瑜的博客
08-09 1049
可以不重启MongoDB，切换日志文件。
MongoDB Driver集成与Log.php日志类的开发
本资源文件将涉及MongoDB驱动的集成方法、Mongo和MongoDB扩展以及使用log.php发送日志类的相关知识点。 首先，MongoDB驱动是一个库，它为特定的编程语言提供了一组API，使得开发者能够通过这些API来实现对MongoDB...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值