Maxwell-生产环境问题集锦

项目场景:

实时平台搭建遇到的问题


问题描述及解决方案

1.mysql有新增或更新数据,maxwell没有采集到

非暴力操作(可试)

查看master的状态,flush刷新一下日志也可以,然后再查看刷新后的master的状态,然后进到mysql数据库中修改maxwell数据库中的positions表中的binlog_position的位置与之对应
在这里插入图片描述
在这里插入图片描述

暴力操作
删除maxwell库下所有的表,然后重启maxwell
在这里插入图片描述


2.bootstrap服务kafka消费不到数据

问题场景:数据在机器1的mysql数据库里,启用bootstrap服务把历史数据导到机器2的kafka的相应主题中,一直卡在下面这个界面,kafka那边也消费不到数据.

在这里插入图片描述
问题解决:

  1. 尝试用sudo执行命令,排除权限问题
  2. 查看maxwell的配置文件,将无关配置注释掉,有些配置可能是安装时默认是打开的(有些配置本人也没去具体了解)

在这里插入图片描述在这里插入图片描述在这里插入图片描述


3.删除maxwell数据库数据导致宕机

问题场景:我只是删除了maxwell库中tables表中记录的某个表,maxwell采集到数据(其他表)出现宕机

问题解决:
暴力方式:直接删除Maxwell库下所有的表,然后重启Maxwell
在这里插入图片描述


4.时区问题(解决方案见上篇文章)


5.指定需要监控的某个数据库的某张表
在这里插入图片描述
配置文件涉及参数
在这里插入图片描述

说明:
exclude_dbs=*,可以先用*排除所有库,之后再include_dbs中指定需要同步的库就可以,这样排除的是include_dbs之外的;
exclude_tables=不能等于*,否则include_tables中指定也不管用,它是把所有表都排除了;


6.maxwell日志配置(默认没有日志,需要自己配置)

方法1:在maxwell/安装目录下新建并编辑log4j2.xml文件,然后重启maxwell即可,内容如下:

在这里插入图片描述

方法2:启动时追加到日志文件中

在这里插入图片描述


记得点赞收藏奥,后续遇到问题会实时更新,关注不迷路~

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天青色等烟雨...

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值