记InfluxDB线上内存升高且持续高水位问题处理过程

最新推荐文章于 2024-05-11 08:07:29 发布
最新推荐文章于 2024-05-11 08:07:29 发布
阅读量3.6k 收藏 2
点赞数
分类专栏： influxDB 文章标签： golang linux 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012794915/article/details/105450680
版权

      最近线上使用InfluxDB时遇到当进行某个大查询后，内存始终保持在很高的水位，并且改内存水位一直保持很高的水平，没有下降的痕迹，排查后发现线上的InfluxDB是使用golang 1.13进行编译的，并且线上的centos系统使用的是linux 4.9的内核，linux系统内核在4.5版本之后就支持MADV_FREE操作，golang在1.12版本以后如果内核支持MADV_FREE就使用MADV_FREE来释放内存，但是MADV_FREE是lazy free，只有当系统内存使用有压力的时候才会进行真正的内存回收，这个时候RSS才会下降，集体golang 1.12内存回收释放可以参考Go 1.12 关于内存释放的一个改进，知道原因后通过GODEBUG=madvdontneed=1 ./influxdb的方式重新启动，内存水位恢复正常

孤寂的夜总有繁星点点
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
influxdb查看数据库命令_减少 InfluxDB 内存占用
weixin_36359107的博客
12-31 921
Kubernetes 1.12 以前使用 Heapster 做集群监控，以提供数据给 kubectl top 命令以及 kubernetes-dashboard 的 Web UI 查看。Heapster 默认使用 InfluxDB，而 InfluxDB 默认设置的 retention policy 是七天一个 shard，无限保留，使用内存索引，所以时间久了后 InfluxDB 会消耗接近 10G...
influxdb内存消耗分析及性能优化
BUG指挥课堂
11-01 2323
本文整理了业务中使用influxdb遇到的问题，并提出了一些优化方案。目前来看，influxdb对于笔者仍然是一个黑盒程序，更细致的内容就需要从源码追寻。#将保留策略修改为：3天一周期；1天一分片(2) 配置文件#influxdb配置文件，主要参数如下:[data]#wal日志落盘周期，官方建议0-100ms#尝试了100ms,50ms,20ms之后，目前折中采用50ms#使用tsi1索引#分片允许最大内存,当超过最大内存会拒绝写入#内存越大，多个新老分片会占用更多的堆空间。
influxdb内存过大和占用过多端口
huangruifeng的博客
08-22 2955
1、influxdb占用内存过多 主要是索引方式导致的，直接使用tsi1即可，如下配置可解决此问题 ## 禁用向官方报告 reporting-disabled = true [meta] dir = "/var/lib/influxdb/meta" [data] dir = "/var/lib/influxdb/data" ## 设置索引版本 index-version = "tsi1" engine = "tsm1
2024年Go最新从真实事故出发：golang 内存问题排查指北(1)，Golang入门零基础
最新发布
2401_84925044的博客
05-11 900
goroutine 申请过多，增长速度快于释放速度，就会导致 goroutine 越来越多。
influxdb 内存溢出，常驻内存集占用过高等常见问题排查
热门推荐
zhangzhen02的博客
12-06 1万+
一，influxdb内存溢出，启动报错 现象： 检查influxdb.log文件，看到如下错误： fatal error: runtime: out of memory runtime stack: runtime.throw(0x12dae55, 0x16) /usr/local/go/src/runtime/panic.go:608 +0x72 runtime.sysMap(0xc480000000, 0x164000000, 0x21cb618) /usr/local/go/src/runtim
Influxdb1.5版本 占CPU高 和 内存高问题
Crazy2910的专栏
10-20 3007
1、关闭上传报告给Influxdb reporting-disabled = false 2、配置相关的 #wal日志落盘周期，官方建议0-100ms #尝试了100ms,50ms,20ms之后，目前折中采用50ms wal-fsync-delay = "50ms" #使用tsi1索引 index-version = "tsi1" #分片允许最大内存,当超过最大内存会拒绝写入 #内存越大，多个新老分片会占用更多的堆空间 cache-max-memory-size...
influxdb查询语句_InfluxDB和MySQL的读写速度及磁盘占用对比测试
weixin_39630095的博客
11-26 1091
操作系统： CentOS6.5_x64InfluxDB版本 ： v1.1.0MySQL版本：v5.1.73CPU ： Intel(R) Core(TM) i5-2320 CPU @ 3.00GHz内存 ：12G硬盘 ：SSDMySQL读写测试测试准备初始化SQL语句：CREATE DATABASE testMysql;CREATE TABLE `monitorStatus` ( `syste...
防洪高水位_洪水_matlab_水利_防洪高水位_
10-01
通过对“防洪高水位”压缩包内的文件进行分析，我们可以深入研究作者是如何使用MATLAB进行这些计算的，包括数据处理、模型建立、代码实现等方面。这不仅有助于理解防洪高水位计算的理论，还能为实际工程提供参考和...
oracle高水位.txt
04-08
### Oracle高水位概念 在Oracle数据库中，“高水位”（High Water Mark，HWM）是一个非常重要的概念。它标记了数据表中最后一次插入、更新或删除操作的位置。简单来说，高水位线以下的空间是已经被使用过的空间，而...
DB2V9.7新特性-降低高水位标记
02-27
内容表空间高水位标记（HWM）为什么要降低高水位标记在9.7以前如何降低高水位标记9.7降低高水位标记的新功能总结参考资料表空间高水位标记（HWM）高水位标记是一个应用广泛的术语，在很多的场合都会使用到，一般用以...
water.rar_水位 matlab_水位控制_过程控制
07-15
对敞开式液体容器的水位控制进行仿真，包过模型的机理建模和matlab仿真全过程，适合新手。
水位检测2_次品检测_检测水位高低_水位_
09-30
"水位检测2_次品检测_检测水位高低_水位_"这个标题暗示了一个系统或程序，它主要用于监控生产线上的水位状态，以此来判断产品是否合格。水位检测是工业自动化中的一个关键环节，尤其在涉及到液体处理、储存和运输的...
influxdb循环查库内存不释放
qq690452074的专栏
01-05 969
influxdb循环查库内存不释放
在Java中，Influxdb2 写入数据时，线程及内存逐渐飙升的问题及解决方案
qq_30488445的博客
05-16 2564
当Job重复写入时，influxdb的写入量也飙升，而influxdb所用的IO线程调度器RxJava，创建的线程池是几乎没有上限的，这就导致influxdb在写 入量很高时，创建的线程数也多，最终导致线程数飙升。“字段”则用于保存实际的数据值。在使用任务对influxDB进行重复新增时，在JVM的线程栈中，出现了大量的 RxNewThreadScheduler 这个线程组，我们对代码进行排查，发现Job构建时，influxdb 插件会将统计数据，通过HTTP请求，存储到influxdb数据库中。
针对prometheus监控系统的influxdb数据库内存优化
11
04-04 1115
以允许无限数量的标签值 如果一个标签值导致一个标签键的标签值超过max-values-per-tag，InfluxDB将不会写入该点，并且会返回部分写入错误。将数据库系数调整成无限制后，引发了新的问题，内存瞬间被influxdb吃光，触发内存oom，influxdb内存使用率高达99%标签值超过max-values-per-tag的所有现有标签键将继续接受写入，但是创建新标签值的写入将失败。某个看granfana上k8s监控数据时，发现其中一个月的数据异常丢失，经过一系列排查后发现，
influxDB系列（四）TSM引擎（存储原理）
林木森的博客
05-09 1418
三、原理 文件目录 # wal 目录结构 -- wal -- mydb -- autogen -- 1 -- _00001.wal -- 2 -- _00035.wal -- 2hours -- 1 -- _00001.wal # dat...
influxdb内存消耗分析及性能优化「追踪篇」
360技术
03-22 5661
背景由于业务场景需求，在生产环境服务器(32core64G)搭建了基于golang开发的influx时序数据库v1.8版本 ，经过持续一周的运行之后(每天写入约100G数据)，发现服务器内...
时序数据库实战之Influxdb 2.0
11-09
课程主要就时序数据库介绍，InfluxDB 2.0基础，Influxdb 2.0写入数据，Flux数据脚本语言，InfluxQL与InfluxDB可视化，配套实战及案例展开。由浅入深，每一个理论搭配一个实验，引领学员浸泡逐步掌握时序数据库和Influxdb 2.0的使用。
InfluxDB 内存消耗分析及性能优化
Think In JAVA—Max
07-26 4794
cardinality反应了series的维度，即不同的series的数量。序列基数是影响内存（RAM）使用量的主要因素。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值