mongodb检查点_Mongodb 日志原理和操作

日志原理：

WiredTiger使用检查点在磁盘上提供一致性数据视图，并允许MongoDB从上一个检查点恢复。 但是，如果MongoDB在检查点之间意外退出，则需要使用日志记录来恢复上次检查点之后发生的信息。

通过日志记录，恢复过程如下：

查看数据文件以查找上一个检查点的标识符。

在日志文件中搜索与上一个检查点的标识符相匹配的记录。

自上次检查点以来，在日志文件中应用这些操作。

MongoDB WiredTiger 首先使用内存缓冲来存储日志记录，直到超过128 kB，才写入磁盘。根据以下时间间隔或条件，WiredTiger将缓冲的日记记录同步到磁盘：

3.2版新增功能：每50毫秒。

版本3.6中：MongoDB 设置检查点以60秒的间隔执行。

如果写入操作包含 j：true 的写入指令，则WiredTiger会强制WiredTiger日志文件同步。

由于MongoDB使用的日志文件大小限制为100 MB，WiredTiger大约每隔100 MB创建一个新的日志文件。当WiredTiger创建新的日志文件时，WiredTiger将同步前一个日志文件。

注意：

在写操作之间，当日志记录保留在WiredTiger缓冲区中时，在mongod强制关闭时更新可能会丢失。

日志方式：

不开启      journal

，写入 wiredtiger      的数据，并不会立即持久化存储；而是每分钟会做一次全量的checkpoint(

storage.syncPeriodSecs

配置项，默认为1分钟)，将所有的数据持久化。

开启 journal 后

，每次写入会记录一条操作日志(通过journal可以重新构造出写入的数据)。这样即使出现宕机，启动时      Wiredtiger 会先将数据恢复到最近的一次checkpoint的点，然后重放后续的 journal 操作日志来恢复数据。

MongoDB 里的 journal 行为 主要由2个参数控制，

storage.journal.enabled

决定是否开启journal，

storage.journal.commitInternalMs

决定 journal 刷盘的间隔(

journal操作的最大间隔时间。可以是2-300ms之间的值，低的值有助于持久化，但是会增加磁盘的额外负担。

如果journal和数据文件在同一磁盘上，默认为100ms。如果在不同的磁盘上为30ms。

如果强制mongod提交日志文件，可以指定j:true，指定后，时间变为原来的三分之一

)，默认为100ms，用户也可以通过写入时指定 writeConcern 为 {j: ture} 来每次写入时都确保 journal 刷盘。

日志切换：

use admin

db.runCommand( { logRotate : 1 } )

后者：

1 3 * * * killall -SIGUSR1 mongod

3 3 * * * killall -SIGUSR1 mongos

15 3 * * * /usr/bin/find /data/mongodb/data/prod_shard2_1/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;

19 3 * * * /usr/bin/find /data/mongodb/data/prod_configdb2/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;

21 3 * * * /usr/bin/find /data/mongodb/data/prod_mongos/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;

日志级别在配置文件中的加入：

use admin

db.runCommand( {

setParameter: 1,

logComponentVerbosity: {

verbosity: 1,

query: {

verbosity: 2

},

storage: {

verbosity: 2,

journal: {

verbosity: 1

}

}

}

} )

或者：

verbose&&quiet

mongodb默认情况下日志文件非常大，每秒都会记录大量的connection等调试信息，这对于我们管理日志和定位        错误有很大影响，需要修改它的默认日志级别。

mongodb的日志级别在配置文件中的verbose和quiet参数决定。verbose表示会打印debug信息，范例配置如下

verbose=true

vv=true

注：这里的vv表示debug级别，有vv-vvvvv，v越多则记录的日志信息越详细。

而如果设置了quiet=true参数，表示安静地输出，即不会再有debug信息，日志中只会打印一些关键的信息，比如        自动故障切换，系统错误等信息，相当于error log。这时需要注释掉verbose参数。范例配置如下:

#verbose=true

quiet=true