InfluxDB 内存消耗分析及性能优化

VIP文章 已于 2023-10-26 16:11:56 修改
阅读量4.4k 收藏 7
点赞数 4
分类专栏： 云监控 文章标签： 数据库 java 开发语言
于 2022-07-26 10:14:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Daybreak1209/article/details/125989031
版权
最低0.47元/天 解锁文章
钟艾伶
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
analytics-influxdb:InfluxDB的简单分析日志记录
05-14
Analytics-InfluxDB InfluxDB的简单分析日志记录，受启发很大 实例化一个新的系列队列以开始记录json数据 ＃＃＃安装： npm install analytics-influxdb --save ＃＃＃用法： var Analytics = require ( 'analytics-influxdb' ) ; var Signups = new Analytics ( "foo" , "bar" , { host : "http://inflxudb.mydomain.com:8086" , dbName : "production" , series : "signups" } ) ; var data = { username : "greenbeans" , subscription : "1-month" , a
influxdb性能优化整理
热门推荐
朱登凯的专栏
04-02 1万+
influxdb一般情况下比较稳定，但是随着数据量越来越大，也会出现一些性能问题，需要进行一些调优。我目前遇到的关于influxdb的性能问题大体上可以分为两类 CPU持续居高不下 内存持续居高不下，并伴随着较高的iowait 下面分别来讨论我当时的处理方法。 CPU持续居高不下 当时遇到的现象是，influxdb进程的CPU利用率持续居高不下，查询数据的速度很慢。经过分析，最终定位到infl...
记InfluxDB线上内存升高且持续高水位问题处理过程
u012794915的博客
04-11 3497
      最近线上使用InfluxDB时遇到当进行某个大查询后，内存始终保持在很高的水位，并且改内存水位一直保持很高的水平，没有下降的痕迹，排查后发现线上的InfluxDB是使用golang 1.13进行编译的，并且线上的centos系统使用的是linux 4.9的内核，linux系统内核在4.5版本之后就支持MADV_FREE操作，g...
influxDB常见问题排查
do_not_disturb的博客
03-05 964
如果发现runtime下Heapldle+HeaplnUse与RES相差较大，切HeapReleased值特别大，很可能就是influxdb已标记释放的内存，未及时给系统回收导致的。由于我的环境中已经存在80GB所有的数据没并且使用了大量的tag，索引数量超过了机器内存，所以就报omm了。那么就要注意monitor配置，也就是默认的_internal库，用户influxdb服务的监控，如果我们的数据量很大，需要监控指标很多，也会造成很大的压力。参数，强制每次释放内存时，将内存交给系统。
针对prometheus监控系统的influxdb数据库内存优化
最新发布
郑俊强的博客
04-04 904
以允许无限数量的标签值 如果一个标签值导致一个标签键的标签值超过max-values-per-tag，InfluxDB将不会写入该点，并且会返回部分写入错误。将数据库系数调整成无限制后，引发了新的问题，内存瞬间被influxdb吃光，触发内存oom，influxdb内存使用率高达99%标签值超过max-values-per-tag的所有现有标签键将继续接受写入，但是创建新标签值的写入将失败。某个看granfana上k8s监控数据时，发现其中一个月的数据异常丢失，经过一系列排查后发现，
docker安装influxdb的详细教程(性能测试)
09-29
主要介绍了docker安装influxdb,需要的朋友可以参考下
在Java中，Influxdb2 写入数据时，线程及内存逐渐飙升的问题及解决方案
qq_30488445的博客
05-16 2249
当Job重复写入时，influxdb的写入量也飙升，而influxdb所用的IO线程调度器RxJava，创建的线程池是几乎没有上限的，这就导致influxdb在写 入量很高时，创建的线程数也多，最终导致线程数飙升。“字段”则用于保存实际的数据值。在使用任务对influxDB进行重复新增时，在JVM的线程栈中，出现了大量的 RxNewThreadScheduler 这个线程组，我们对代码进行排查，发现Job构建时，influxdb 插件会将统计数据，通过HTTP请求，存储到influxdb数据库中。
influxdb 内存溢出，常驻内存集占用过高等常见问题排查
zhangzhen02的博客
12-06 1万+
一，influxdb内存溢出，启动报错 现象： 检查influxdb.log文件，看到如下错误： fatal error: runtime: out of memory runtime stack: runtime.throw(0x12dae55, 0x16) /usr/local/go/src/runtime/panic.go:608 +0x72 runtime.sysMap(0xc480000000, 0x164000000, 0x21cb618) /usr/local/go/src/runtim
时序数据库实战之Influxdb 2.0
11-09
课程主要就时序数据库介绍，InfluxDB 2.0基础，Influxdb 2.0写入数据，Flux数据脚本语言，InfluxQL与InfluxDB可视化，配套实战及案例展开。由浅入深，每一个理论搭配一个实验，引领学员浸泡逐步掌握时序数据库和Influxdb 2.0的使用。
influxdb内存过大和占用过多端口
huangruifeng的博客
08-22 2820
1、influxdb占用内存过多 主要是索引方式导致的，直接使用tsi1即可，如下配置可解决此问题 ## 禁用向官方报告 reporting-disabled = true [meta] dir = "/var/lib/influxdb/meta" [data] dir = "/var/lib/influxdb/data" ## 设置索引版本 index-version = "tsi1" engine = "tsm1
influxdb循环查库内存不释放
qq690452074的专栏
01-05 911
influxdb循环查库内存不释放
kafka-influxdb:InfluxDB的高性能Kafka使用者。 支持收集的消息格式
04-30
Kafka-InfluxDB 一个用Python编写的InfluxDB的Kafka使用者。 支持InfluxDB 0.9.x及更高版本。 要获得InfluxDB 0.8.x支持，请签出。 :warning: 该项目应能按预期工作，并且非常欢迎进行错误修复，但是有关新功能的活动很少。 对于较新的项目，我建议改为使用 ，它既更快又更通用。 用例 Kafka将在高负载期间充当指标数据的缓冲区。 对于从离岸数据中心发送不可靠连接到您的监控后端的指标，这也很有用。 快速开始 为了进行快速测试，请在容器内与Kafka和InfluxDB一起运行kafka-influxdb。 一些示例消息会在启动时自动生成（使用kafkacat）。 Python 2： make docker exec -it kafkainfluxdb python -m kafka_influxdb -c config_example.ya
InfluxDB安装及Docker启动InfluxDB教程
01-31
数据库管理者：负责维护和优化数据库性能的专业人士。 使用场景及目标 在服务器上安装InfluxDB：为需要使用InfluxDB的服务器提供安装指南。 配置和维护数据库：帮助用户配置和维护InfluxDB数据库，确保其正常运行和...
influxdb内存消耗分析及性能优化「追踪篇」
360技术
03-22 5393
背景由于业务场景需求，在生产环境服务器(32core64G)搭建了基于golang开发的influx时序数据库v1.8版本 ，经过持续一周的运行之后(每天写入约100G数据)，发现服务器内...
InfluxDB-FLUX查询优化、使用 InfluxDB 搭建报警系统
迷雾总会解
07-06 1691
监控其实每隔一段时间对数据计算一下。比如，我有一个一氧化碳浓度传感器， 每 1分钟我就算一下这 1 分钟内室内一氧化碳浓度的平均值。将这个结果跟一个写死的标准值做比较，如果超过了就报警。这就是监控的基本逻辑。所以，InfluxDB 中的监控其实也是一个 FLUX 脚本写的定时任务。只不过，不管是在HTTP API 还是在Web UI 上，InfluxDB 都把它和定时任务分离区别对待了。
influxdb查看数据库命令_减少 InfluxDB 内存占用
weixin_36359107的博客
12-31 900
Kubernetes 1.12 以前使用 Heapster 做集群监控，以提供数据给 kubectl top 命令以及 kubernetes-dashboard 的 Web UI 查看。Heapster 默认使用 InfluxDB，而 InfluxDB 默认设置的 retention policy 是七天一个 shard，无限保留，使用内存索引，所以时间久了后 InfluxDB 会消耗接近 10G...
Influxdb1.5版本 占CPU高 和 内存高问题
Crazy2910的专栏
10-20 2753
1、关闭上传报告给Influxdb reporting-disabled = false 2、配置相关的 #wal日志落盘周期，官方建议0-100ms #尝试了100ms,50ms,20ms之后，目前折中采用50ms wal-fsync-delay = "50ms" #使用tsi1索引 index-version = "tsi1" #分片允许最大内存,当超过最大内存会拒绝写入 #内存越大，多个新老分片会占用更多的堆空间 cache-max-memory-size...
influxdb内存消耗分析及性能优化
BUG指挥课堂
11-01 2239
本文整理了业务中使用influxdb遇到的问题，并提出了一些优化方案。目前来看，influxdb对于笔者仍然是一个黑盒程序，更细致的内容就需要从源码追寻。#将保留策略修改为：3天一周期；1天一分片(2) 配置文件#influxdb配置文件，主要参数如下:[data]#wal日志落盘周期，官方建议0-100ms#尝试了100ms,50ms,20ms之后，目前折中采用50ms#使用tsi1索引#分片允许最大内存,当超过最大内存会拒绝写入#内存越大，多个新老分片会占用更多的堆空间。
influxDB内存优化
08-12
要进行 InfluxDB 的内存优化，可以考虑以下几个方面： 1. 内存缓存配置：通过调整 InfluxDB 的内存缓存配置参数，合理分配内存资源。可以调整 `cache-max-memory-size` 参数来限制内存使用量。根据服务器的可用内存和数据量的大小，整合适的值。 2. 数据模型设计：合理设计数据模型可以减少内存的消耗。使用标签（tags）来存储高基数的维度信息，使用字段（fields）来存储低基数的指标信息。避免创建过多的索引，只创建必要的索引。 3. 批量写入：尽量使用批量写入的方式，而不是逐条写入。这样可以减少写入操作的开销，提高写入性能，减少内存占用。 4. 查询性能优化：合理使用索引，避免全表扫描。尽量将查询条件限定在特定的时间范围和标签值上，避免查询大量数据。可以使用 EXPLAIN QUERY 命令来分析查询语句的执行计划，优化查询性能。 5. 数据保留策略：通过设置数据保留策略，及时清理不再需要的旧数据，减少内存空间的占用。可以根据业务需求设置不同的保留期限。 6. 硬件资源：确保服务器具有足够的内存和处理能力来支持 InfluxDB 的运行。根据数据量和负载情况，适当增加硬件资源。 7. 监控和调优：使用 InfluxDB 提供的监控工具和指标，定期监控数据库的内存使用情况，及时发现并解决潜在的内存问题。 请注意，在进行内存优化时，需要根据实际情况进行调整和测试，以确保优化措施的有效性。同时也要权衡内存使用和性能之间的关系，确保系统在资源有限的情况下能够达到预期的性能要求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值