wiredTiger
MongoDB从3.0开始引入可插拔存储引擎的概念。
目前主要有MMAPV1、WiredTiger存储引擎可供选择。
在3.2版本之前MMAPV1是默认的存储引擎,其采用linux操作系统内存映射技术,但一直饱受诟病
3.4以上版本默认的存储引擎是wiredTiger,相对于MMAPV1其有如下优势:
- 读写操作性能更好,WiredTiger能更好的发挥多核系统的处理能力;
- MMAPV1引擎使用表级锁,当某个单表上有并发的操作,吞吐将受到限制。WiredTiger使用文档级锁,由此带来并发及吞吐的提高
- 相比MMAPV1存储索引时WiredTiger使用前缀压缩,更节省对内存空间的损耗;
- 提供压缩算法,可以大大降低对硬盘资源的消耗,节省约60%以上的硬盘资源;
数据写入原理
丢数据的情况
写入数据时,引擎内部是先将数据存在内存中,每隔60s或内存存储容量达到2G后提交一次到磁盘中,因此在这60s期间如果机器宕机,则有极大的可能性会丢失数据
不丢数据的情况
写入数据时,引擎内部是先将数据存在内存中,同时也会写一份操作日志到内存中,该日志会每个100ms持续化到磁盘文件,这种日志成为Journaling。
Journaling类似于关系数据库中的事务日志。Journaling能够使MongoDB数据库由于意外故障后快速恢复。
MongoDB2.4版本后默认开启了Journaling日志功能,mongod实例每次启动时都会检查journal日志文件看是否需要恢复。
由于提交journal日志会产生写入阻塞,所以它对写入的操作有性能影响,但对于读没有影响。
在生产环境中开启Journaling是很有必要的!!!
写策略解析
这里借用网上的图片进行说明
Unacknowledged
写入数据后,不等待mongo回复,直接结束流程,这种方式一般不推荐使用
Acknowledged
写入数据后,等待mongo回复后才结束流程,比较常用
Jounaled
写入数据后,等待mango将数据写入缓存并将日志写入Journal中才结束流程,比较常用
Replica Acknowledged
这种模式适合分片情况下使用,写入数据后,等待主和从写入缓存后才结束流程,可以配置从的数量
配置文件
存储引擎涉及的一些配置项在/etc/mongod.conf中,如下描述:
storage:
journal:
enabled: true #是否开启journal日志功能,生产上建议开启
dbPath: /data/zhou/mongo1/ #数据库路径
directoryPerDB: true #是否一个库一个文件夹,生产上建议开启
engine: wiredTiger #数据引擎
wiredTiger: #WT引擎配置
engineConfig:
cacheSizeGB: 1 #WT最大使用cache,当cache满时会持久化到磁盘中,根据服务器实际情况调节
directoryForIndexes: true #是否将索引也按数据库名单独存储
journalCompressor: none #journal压缩配置,默认snappy
collectionConfig: #表压缩配置
blockCompressor: zlib #默认snappy,还可选none、zlib
indexConfig: #索引配置
prefixCompression: true
压缩算法说明
性能:none > snappy > zlib
压缩比:zlib > snappy > none
其他配置参考官网:https://docs.mongodb.com/v3.4/reference/configuration-options/