17_小米监控Open-Falcon：Mongodb监控

最新推荐文章于 2024-07-19 16:54:34 发布
最新推荐文章于 2024-07-19 16:54:34 发布
阅读量2.7k 收藏
点赞数 1
分类专栏： 【构建高可用架构】 【监控】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27384769/article/details/79582474
版权

小米监控Open-Falcon：Mongodb监控

更多干货

一、 功能支持

  • 已测试版本: 支持MongoDB版本2.4,2.6 3.0,3.2, 以及Percona MongoDB3.0
  • 支持存储引擎：MMAPv1, wiredTiger, RocksDB, PerconaFT 存储引擎(部分存储引擎的指标未
  • 采集完,可直接代码中添加)
  • 支持结构: standlone, 副本集,分片集群
  • 支持节点：mongod数据节点，配置节点，Primary/Secondary, mongos; 不支持Arbiter节点

二、 数据采集

  • 1、存活监控: 包括auth
  • 2、serverStatus
  • 3、replSetGetStatus
  • 4、oplog.rs
  • 5、mongos

通过cron每分钟采集上报,采集对MongoDB理论无性能影响

三、 环境要求

  • 操作系统: Linux
  • Python 2.6
  • PyYAML > 3.10
  • python-requests > 0.11

四、 程序部署

  • 下载地址：https://github.com/ZhuoRoger/mongomon
  • 进入目录 cd /data/program/software/mongomon
  • 配置当前服务器的MongoDB多实例(mongod,配置节点,mongos)信息,/path/to/mongomon/conf/mongomon.conf 每行记录一个实例: 端口，用户名，密码
{port: 27017, user: "",password: ""}
  • 配置crontab, 修改mongomon/conf/mongomon_cron文件中mongomon安装path; cp mongomon_cron /etc/cron.d/
  • 几分钟后，可从open-falcon的dashboard中查看MongoDB metric
  • endpoint默认是hostname

五、 测试

第四步的配置到crontab中。但是我们也可以自己测试一下，如下：

cd /data/program/software/mongomon/bin
python  mongodb_monitor.py

如果出现如下错误：

Traceback (most recent call last):
  File "mongodb_monitor.py", line 13, in <module>
    from mongodb_server import mongodbMonitor
  File "/data/program/software/mongomon/bin/mongodb_server.py", line 7, in <module>
    import pymongo
ImportError: No module named pymongo
  • 解决办法：pip install pymongo
  • 然后再执行python mongodb_monitor.py

image

采集的MongoDB指标

Counters	Type	Notes

mongo_local_alive	GAUGE	mongodb存活本地监控，如果开启Auth，要求连接认证成功
asserts_msg	COUNTER	消息断言数/秒
asserts_regular	COUNTER	常规断言数/秒
asserts_rollovers	COUNTER	计数器roll over的次数/秒,计数器每2^30个断言就会清零
asserts_user	COUNTER	用户断言数/秒
asserts_warning	COUNTER	警告断言数/秒
page_faults	COUNTER	页缺失次数/秒
connections_available	GAUGE	未使用的可用连接数
connections_current	GAUGE	当前所有客户端的已连接的连接数
connections_used_percent	GAUGE	已使用连接数百分比
connections_totalCreated	COUNTER	创建的新连接数/秒
globalLock_currentQueue_total	GAUGE	当前队列中等待锁的操作数
globalLock_currentQueue_readers	GAUGE	当前队列中等待读锁的操作数
globalLock_currentQueue_writers	GAUGE	当前队列中等待写锁的操作数
locks_Global_acquireCount_ISlock	COUNTER	实例级意向共享锁获取次数
locks_Global_acquireCount_IXlock	COUNTER	实例级意向排他锁获取次数
locks_Global_acquireCount_Slock	COUNTER	实例级共享锁获取次数
locks_Global_acquireCount_Xlock	COUNTER	实例级排他锁获取次数
locks_Global_acquireWaitCount_ISlock	COUNTER	实例级意向共享锁等待次数
locks_Global_acquireWaitCount_IXlock	COUNTER	实例级意向排他锁等待次数
locks_Global_timeAcquiringMicros_ISlock	COUNTER	实例级共享锁获取耗时 单位:微秒
locks_Global_timeAcquiringMicros_IXlock	COUNTER	实例级共排他获取耗时 单位:微秒
locks_Database_acquireCount_ISlock	COUNTER	数据库级意向共享锁获取次数
locks_Database_acquireCount_IXlock	COUNTER	数据库级意向排他锁获取次数
locks_Database_acquireCount_Slock	COUNTER	数据库级共享锁获取次数
locks_Database_acquireCount_Xlock	COUNTER	数据库级排他锁获取次数
locks_Collection_acquireCount_ISlock	COUNTER	集合级意向共享锁获取次数
locks_Collection_acquireCount_IXlock	COUNTER	集合级意向排他锁获取次数
locks_Collection_acquireCount_Xlock	COUNTER	集合级排他锁获取次数
opcounters_command	COUNTER	数据库执行的所有命令/秒
opcounters_insert	COUNTER	数据库执行的插入操作次数/秒
opcounters_delete	COUNTER	数据库执行的删除操作次数/秒
opcounters_update	COUNTER	数据库执行的更新操作次数/秒
opcounters_query	COUNTER	数据库执行的查询操作次数/秒
opcounters_getmore	COUNTER	数据库执行的getmore操作次数/秒
opcountersRepl_command	COUNTER	数据库复制执行的所有命令次数/秒
opcountersRepl_insert	COUNTER	数据库复制执行的插入命令次数/秒
opcountersRepl_delete	COUNTER	数据库复制执行的删除命令次数/秒
opcountersRepl_update	COUNTER	数据库复制执行的更新命令次数/秒
opcountersRepl_query	COUNTER	数据库复制执行的查询命令次数/秒
opcountersRepl_getmore	COUNTER	数据库复制执行的gtemore命令次数/秒
network_bytesIn	COUNTER	数据库接受的网络传输字节数/秒
network_bytesOut	COUNTER	数据库发送的网络传输字节数/秒
network_numRequests	COUNTER	数据库接收到的请求的总次数/秒
mem_virtual	GAUGE	数据库进程使用的虚拟内存
mem_resident	GAUGE	数据库进程使用的物理内存
mem_mapped	GAUGE	mapped的内存,只用于MMAPv1 存储引擎
mem_bits	GAUGE	64 or 32bit
mem_mappedWithJournal	GAUGE	journal日志消耗的映射内存，只用于MMAPv1 存储引擎
backgroundFlushing_flushes	COUNTER	数据库刷新写操作到磁盘的次数/秒
backgroundFlushing_average_ms	GAUGE	数据库刷新写操作到磁盘的平均耗时，单位ms
backgroundFlushing_last_ms	COUNTER	当前最近一次数据库刷新写操作到磁盘的耗时，单位ms
backgroundFlushing_total_ms	GAUGE	数据库刷新写操作到磁盘的总耗时/秒，单位ms
cursor_open_total	GAUGE	当前数据库为客户端维护的游标总数
cursor_timedOut	COUNTER	数据库timout的游标个数/秒
cursor_open_noTimeout	GAUGE	设置DBQuery.Option.noTimeout的游标数
cursor_open_pinned	GAUGE	打开的pinned的游标数
repl_health	GAUGE	复制的健康状态
repl_myState	GAUGE	当前节点的副本集状态
repl_oplog_window	GAUGE	oplog的窗口大小
repl_optime	GAUGE	上次执行的时间戳
replication_lag_percent	GAUGE	延时占比(lag/oplog_window)
repl_lag	GAUGE	Secondary复制延时，单位秒
shards_size	GAUGE	数据库集群的分片个数; config.shards.count
shards_mongosSize	GAUGE	数据库集群中mongos节点个数；config.mongos.count
shards_chunkSize	GAUGE	数据库集群的chunksize大小设置，以config.settings集合中获取
shards_activeWindow	GAUGE	数据库集群的数据均衡器是否设置了时间窗口，1/0
shards_activeWindow_start	GAUGE	数据库集群的数据均衡器时间窗口开始时间，格式23.30表示 23：30分
shards_activeWindow_stop	GAUGE	数据库集群的数据均衡器时间窗口结束时间，格式23.30表示 23：30分
shards_BalancerState	GAUGE	数据库集群的数据均衡器的状态，是否为打开
shards_isBalancerRunning	GAUGE	数据库集群的数据均衡器是否正在运行块迁移
wt_cache_used_total_bytes	GAUGE	wiredTiger cache的字节数
wt_cache_dirty_bytes	GAUGE	wiredTiger cache中"dirty"数据的字节数
wt_cache_readinto_bytes	COUNTER	数据库写入wiredTiger cache的字节数/秒
wt_cache_writtenfrom_bytes	COUNTER	数据库从wiredTiger cache写入到磁盘的字节数/秒
wt_concurrentTransactions_write	GAUGE	write tickets available to the WiredTiger storage engine
wt_concurrentTransactions_read	GAUGE	read tickets available to the WiredTiger storage engine
wt_bm_bytes_read	COUNTER	block-manager read字节数/秒
wt_bm_bytes_written	COUNTER	block-manager write字节数/秒
wt_bm_blocks_read	COUNTER	block-manager read块数/秒
wt_bm_blocks_written	COUNTER	block-manager write块数/秒
rocksdb_num_immutable_mem_table		
rocksdb_mem_table_flush_pending		
rocksdb_compaction_pending		
rocksdb_background_errors		
rocksdb_num_entries_active_mem_table		
rocksdb_num_entries_imm_mem_tables		
rocksdb_num_snapshots		
rocksdb_oldest_snapshot_time		
rocksdb_num_live_versions		
rocksdb_total_live_recovery_units		
PerconaFT_cachetable_size_current		
PerconaFT_cachetable_size_limit		
PerconaFT_cachetable_size_writing		
PerconaFT_checkpoint_count		
PerconaFT_checkpoint_time		
PerconaFT_checkpoint_write_leaf_bytes_compressed		
PerconaFT_checkpoint_write_leaf_bytes_uncompressed		
PerconaFT_checkpoint_write_leaf_count		
PerconaFT_checkpoint_write_leaf_time		
PerconaFT_checkpoint_write_nonleaf_bytes_compressed		
PerconaFT_checkpoint_write_nonleaf_bytes_uncompressed		
PerconaFT_checkpoint_write_nonleaf_count		
PerconaFT_checkpoint_write_nonleaf_time		
PerconaFT_compressionRatio_leaf		
PerconaFT_compressionRatio_nonleaf		
PerconaFT_compressionRatio_overall		
PerconaFT_fsync_count		
PerconaFT_fsync_time		
PerconaFT_log_bytes		
PerconaFT_log_count		
PerconaFT_log_time		
PerconaFT_serializeTime_leaf_compress		
PerconaFT_serializeTime_leaf_decompress		
PerconaFT_serializeTime_leaf_deserialize		
PerconaFT_serializeTime_leaf_serialize		
PerconaFT_serializeTime_nonleaf_compress		
PerconaFT_serializeTime_nonleaf_decompress		
PerconaFT_serializeTime_nonleaf_deserialize		
PerconaFT_serializeTime_nonleaf_serialize

更多相关文章



chenshiying007
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB 监控与日志分析
weixin_59801183的博客
06-04 2278
在运行了 MongoDB 数据库的应用程序中，性能监控和日志分析对于确保数据安全、一致性和应用程序稳定性至关重要。本指南将带您了解 MongoDB 的性能监控指标、如何使用 `mongostat` 和 `mongotop` 工具以及日志分析和问题诊断。
MongoDB 监控与分析
weixin_38597669的博客
02-07 806
归咎于这段时间遇到mongo服务波动的问题，特别去看了mongo服务端监控的知识，诸如mongo连接数，慢查询，磁盘占用等，在这里记一下，分享！！！
计算机毕业设计项目之asp.net管理系统基于NET实现的数码新闻发布系统【源码+远程+答疑】
最新发布
weixin_45776178的博客
07-19 327
计算机毕业设计项目定制|源码定做asp.net-数码新闻发布系统演示视频 https://www.bilibili.com/video/BV1rp4y177q8?项目含有源码、文档、PPT、配套开发软件、软件安装教程、项目发布教程、包运行成功以及课程答疑与微信售后交流群、送查重系统不限次数免费查重等福利！软件开发环境及开发工具：开发软件：VS 2017 （版本2017以上即可，不能低于2017）数据库：mysql开发模式：mvc浏览器：谷歌浏览器。
如何监控MongoDB数据库性能
Free雅轩的博客
03-16 585
如果大于100MB，MongoDB就会自动创建一个新的日志文件，由于日志文件只需在上次检查点之后恢复数据，因此在新的检查点写入完成时，旧的日志文件就会被删除。在MongoDB关闭之前，有较大的索引建立的操作没有完成，MongoDB就直接shutdown了，等MongoDB再次启动的时候，MongoDB默认会将这个index重建好，重建期间处于startup状态。等启动完成后，再创建这个索引。持久性是数据库必备的一种特性，想象一下，如果数据库不具备持久性，如果数据库重启，数据全部丢失，太可怕了，不敢想。
Prometheus监控MongoDB数据库
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
09-16 6726
Prometheus监控MongoDB数据库 监控环境：Prometheus数据库： MongoDB 3.4.6 集群，3个节点 监控工具：mongodb_exporter。
zabbix监控MongoDB
wyl9527的博客
08-02 1007
1.MongoDB自带的监控 [root@bfd-ango-01 shell]# mongostat -h 47.105.115.143:27017 -udolphin -pk8DDg9sd --authenticationDatabase admin insert query update delete getmore command flushes mapped vsize res fau...
open-falcon 小米开源监控
热门推荐
nis
05-25 2万+
1.open-falcon介绍监控系统是整个运维环节，乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。监控系统作为一个成熟的运维产品，业界有很多开源的实现可供选择。当公司刚刚起步，业务规模较小，运维团队也刚刚建立的初期，选择一款开源的监控系统，是一个省时省力，效率最高的方案。之后，随着业务规模的持续快速增长，监控的对象也越来越多，越来越复杂，监控系统的...
小米监控工具open-falcon安装包.zip
03-15
【小米监控工具open-falcon安装包】 open-falcon是一款由小米公司开源的、适用于大规模分布式系统监控的平台，它能够实时收集、传输、存储和展示各类运维数据，为企业的IT基础设施提供全面的健康检查和性能监控。...
lh-falcon:基于Python开发的服务器监控平台。参考了Zabbix和小米的open-falcon架构设计思路，实现包括系统性能，端口和进程存活，应用服务等监控
05-13
参考了小米的open-falcon架构设计思路，实现包括系统性能，端口和进程存活，应用服务等监控。根据不同的告警的条件和策略及时给用户短信或邮件发送报警信息；实现监控数据的存储和查询；对不同服务器所需监控的指标...
open-falcon 小米监控
02-13
开源小米监控以及学习，配置指南，公司一直在使用，很方便
open-falcon4j:互联网企业级监控系统open-falcon java实现
03-11
《深入剖析Open-Falcon4J：互联网企业级监控系统的Java实践》 Open-Falcon4J，作为一款基于Java实现的互联网企业级监控系统，旨在提供高效、稳定且可扩展的监控解决方案。它借鉴了Open-Falcon的核心设计理念，利用...
小米开源监控系统 open-falcon
10-23
比zabbix 和 nagios 都好用的开源监控系统 open-falcon。由小米公司开发，主要编程语言是Go语言。是一个非常好的学习Go语言开发的开源项目。
M09-MongoDB数据库监控与日志分析
ZXCVBhbase的博客
03-29 614
MongoDB监控的意义 检查数据库当前状态 检查性能问题、以识别任何异常行为 提供诊断数据以解决问题 修复小问题、防止成长为更大的问题 保存运行环境正常 确报持续可用和成功 数据监控日志数据，大数据预警 优化现有系统架构 MongoDB监控的指标 磁盘使用率 内存使用情况 网络连接 错误异常 查询次数 写入次数 复制延迟 复制集群状态 Lock状态 注意 在架构上可以用mongodb存储日信息 ...
MongoDB的管理与监控
悟已往之不谏，知来者之可追
12-01 1012
MongoDB的管理与监控
深入MongoDB监控：全面解析命令、实用示例与最佳实践
欢迎来到技术蜜糖罐的IT角落！
05-23 1929
MongoDB 提供了丰富的监控命令和工具，帮助管理员实时了解数据库的运行状态，及时发现和解决性能问题。在实际应用中，管理员可以根据具体需求，灵活使用这些工具，确保数据库系统的高效运行和数据安全。定期监控数据库性能、资源使用、活跃操作和索引使用情况，是数据库管理的重要组成部分，能够有效提升数据库的稳定性和可靠性。通过掌握 MongoDB 的监控技巧，管理员可以更好地管理和优化数据库系统，确保系统在高负载情况下仍能稳定运行。
开放飞鹰（Open-Falcon）：小米打造的企业级监控系统
gitblog_00015的博客
04-25 431
开放飞鹰（Open-Falcon）：小米打造的企业级监控系统 项目地址:https://gitcode.com/XiaoMi/open-falcon 开放飞鹰（Open-Falcon）是小米公司开源的一款强大且灵活的分布式监控系统，旨在帮助企业实时监控IT基础设施和服务的健康状态。该项目的目标是提供一套高效、稳定且易于扩展的解决方案，让运维人员能够及时发现和处理潜在问题。 技术分析 架构设计 Op...
第26章 MongoDB 监控教程
05-05 467
在阁下已经install 部署并允许MongoDB服务后，阁下必须要了解MongoDB的运行情况，并查看MongoDB的性能。这样在大流量得情况下可以很好的应对并保证MongoDB正常运作。MongoDB中提供了mongostat 和 mongotop 两个命令来监控MongoDB的运行情况。
MongoDB 自带的监控
一杯Mojito可以吗
11-27 131
背景 以下内容可配合起来解决故障排查 写在前面 原文https://www.cnblogs.com/keme/p/11004955.html link 监控哪些: CPU、内存、磁盘I/O、应用程序（MongoDB）、进程监控（ps -aux）、错误日志监控 db.serverStatus() 原文摘要 一些内部状态可以查看： db.serverStatus() 查看实例运行状态（内存使用、锁、用户连接等信息）　通过比对前后快照进行性能分析 "connections" # 当前连接到本机处于活动状态
MongoDB数据库性能监控详解
学Java，找哪吒
02-13 7458
MongoDB数据库实战系列，打造精品专栏。
Open-Falcon：小米监控实战与开源指南
Open-Falcon 是一款开源的高性能监控系统，由小米公司自主研发并维护，其设计初衷是提供一个高效、易用的监控解决方案。该系统主要关注分布式环境下的应用和服务监控，支持各种主流服务的健康状况监控，如数据库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值