解决 sentry 清理历史数据导致KafkaError “Offset Out of Range“

于 2021-12-21 12:01:51 发布
阅读量2.1k 收藏
点赞数 2
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang_huagui/article/details/122059099
版权

解决sentry KafkaError "Offset Out of Range"

1. sentry 清理历史数据以及出现Offset Out of Range错误解决办法
1. 清理postgres数据
2. 重置kafka offset
3. 清空kafka数据
2. 定时清理历史数据，官方解决方案

其实官方已经提供了解决方案，修改 .env文件的以下配置 ,重新安装即可

​ SENTRY_EVENT_RETENTION_DAYS=7

参考

huang_huagui
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sentry 的安装 和 历史数据的清理
weixin_34148340的博客
01-10 2845
简单起见，我这里直接用docker来安装sentry了。 大致步骤如下： cd /usr/local/ git clone https://github.com/getsentry/onpremise.git cd onpremise mkdir -p data/{sentry,postgres} cp .env.example .env docker-compos...
Sentry 清理数据
dongsong1117的专栏
04-21 1586
新建备份表结合重命名方式，可以实现不影响 Sentry 服务正常运行时删除数据。此操作可能耗时较长，可以使用。删除表前后可以先查看下该表占用的空间，一般。
kafka的OffsetOutOfRangeException
天涯路的专栏
07-08 1534
从把spark 从1.3升级到1.6之后，kafka Streaming相关问题频出。最近又遇到了一个。 job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了kafka.common.OffsetOutOfRangeException。下文记录下异常分析与解决过程。 异常分析 从字面意思上，说是kafka topic的offset越界异常；在job中使用的是Kafka DirectStream，每成功处理一批数据，就把对应的.
apache kafka系列之server.properties配置文件参数说明
热门推荐
李志涛的专栏
05-13 7万+
每个kafka broker中配置文件server.properties必须配置的属性如下：
解决Sentry不收集爬虫产生的Exception问题
CleverCode的博客
05-01 1644
文章目录技术交流 最近业务部门反馈说收到短信sentry报警数值和打开sentry页面看到的数据不一样。 我们报警数值是取的接口： http://101.1.251.101:9100/api/0/projects/sentry/mail/stats/?stat=received 线下安装了sentry开始复现。《sentry安装与配置》：https://clevercode.blog.csdn....
Kafka.common.offsetOutOfRangeException解决办法
徐腾瑞的博客
01-30 2180
问题产生原理： kafka会有三种日志留存策略： 基于空间维度 基于时间维度 基于起始位移维度   留存机制工作原理： 每个Kafka broker启动时，都会在后台开启一个定时任务，定期去检查执行所有topic日志留存，这个定时任务触发时间周期由broker端参数 log.retention.check.interval.ms控制，默认时5分钟，即每台broker每5分钟会尝试检查...
手动解决Cannot find module '@sentry/webpack-plugin'等问题
10-06
解决Cannot find module '@sentry/webpack-plugin'，Cannot find module '@sentry/browser'，Cannot find module '@sentry/cli'等问题。 下载后，解压后文件夹，放在vue项目的node_modules文件夹下，即可。
sentry-module:NuxtJS的Sentry模块
04-27
NuxtJS是一个基于Vue.js的框架，用于构建服务器端渲染（SSR）的应用程序，而Sentry是一个开源错误跟踪系统，帮助开发者捕获并解决应用程序中的异常和错误。`@nuxtjs/sentry`模块是NuxtJS社区为集成Sentry到Nuxt应用...
基于Sentry的大数据权限解决方案.docx
10-26
Sentry的大数据权限解决方案 Apache Sentry 是 Cloudera 公司发布的一个 Hadoop 开源组件，提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry 当前可以和 Hive/Hcatalog、Apache Solr 和 Cloudera ...
k8s-sentry：向Sentry报告kubernetes事件
02-04
k8s哨兵k8s-sentry是监视集群并将所有运行问题报告给的简单工具。 有两种替代实现： ：Sentry kubernetes的官方记者。 没有积极地维护它，并且遭受了。 ：一种替代的go实现。 这仅监视Pod状态更改。 这导致它成为几...
sentry-wizard：Sentry项目设置向导
02-04
哨兵向导帮助您使用Sentry设置项目用法用npm或yarn安装npm install @sentry/wizard在您的项目中致电sentry-wizard ，并按照说明进行操作。选件Options: --help Show help [boolean] --version Show version number ...
sentry-cli：与Sentry一起使用的命令行实用程序
01-30
这是用于某些常规任务的Sentry命令行客户端。 现在，如果您不使用fastlane工具，这主要用于将调试符号上载到Sentry。 下载可在下找到 文档可以在找到 安装 推荐的安装方式是使用大家最喜欢的curl进行打击： curl ...
sentry-unity：适用于Unity3d的Sentry SDK
02-06
Sentry SDK for Unity 这是一个进展中的工作。 要获得稳定的Unity SDK，请转到 。 Sentry SDK：Unity与Unity Lite Sentry当前稳定的SDK位于。 该存储库是适用于Unity的新Sentry SDK的宿主，它支持本机崩溃支持和...
sentry.zip
02-22
Sentry是一款开源的错误追踪系统，它主要用于实时监控和记录应用程序中的错误，为开发者提供详细的错误报告和诊断信息。在给定的“sentry.zip”压缩包中，包含的资源是针对Sentry的离线安装版本，这尤其适用于那些...
sentry磁盘占用过大如何清理历史数据
tiancityycf的专栏
11-09 4163
参考：https://www.phpmianshi.com/?id=182 1、SENTRY数据软清理 （清理完不会释放磁盘，如果很长时间没有运行，清理时间会很长） #登录worker容器 dockerexec-itsentry_onpremise_worker_1/bin/bash #保留多少天的数据，cleanup使用delete命令删除postgresql数据，但对于delete,update等操作，只是将对应行标志为DEAD，并没有真正释放磁盘空间 sentrycleanup--...
spark streaming kafka OffsetOutOfRangeException 异常分析与解决
xueba207的专栏
04-17 3万+
job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了**kafka.common.OffsetOutOfRangeException**。下文记录下异常分析与解决过程。
深入解析Kafka的offset管理
qianshanding0708的博客
11-23 1510
更多内容关注微信公众号：fullstack888Kafka中的每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每...
Sentry关闭和清洗
lc的大脑备份
10-17 1734
大多数SDK使用后台队列发送事件。由于队列在后台异步发送，因此意味着如果应用程序意外关闭，某些事件可能会丢失。为了防止这种情况，所有SDK都提供了应对此问题的机制。 通常，SDK提供两种关闭方式：受控关闭，系统将等待大约两秒钟以清除事件（可配置）和不受控制的关闭（也称为“查杀”客户端）。 客户端提供了一个close方法，该方法可选择花费时间（以毫秒为单位）等待的时间，并返回一个在刷新所有内容或...
IndexError: list index out of range Sentry is attempting to send 2 pending error messages
最新发布
05-13
这个错误通常表示您正在尝试访问列表中不存在的索引。可能是因为您的列表为空，或者您正在尝试访问超出列表范围的索引。您可以通过检查列表长度来确保访问的索引在列表范围内。如果列表是空的，请确保在尝试访问索引之前，您已经向列表中添加了元素。如果问题仍然存在，请检查代码并确定您正在访问正确的变量和索引。同时，您也可以尝试使用 try-except 语句来捕获这个错误并进行处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值