- 博客(3)
- 收藏
- 关注
RSS订阅原创 Kafka消息不丢失
1、Kafka消息丢失的情况：（1）auto.commit.enable=true，消费端自动提交offersets设置为true，当消费者拉到消息之后，还没有处理完 commit interval 提交间隔就到了，提交了offersets。这时consummer又挂了，重启后，从下一个offersets开始消费，之前的消息丢失了。（2）网络负载高、磁盘很忙，写入失败，又没有设置消息重试，导致数据丢失。（3）磁盘坏了已落盘数据丢失。（4）单 批 数 据 的 长 度 超 过 限 制 会 丢 失
2022-03-22 11:32:39
129
原创 mysql中的JSON系列操作函数
MySQL 5.7.8开始支持 json类型，这个文档主要记录Json数据库操作的函数，以后可能大家用的到一、方法罗列创建jsonjson_array 创建json数组json_object 创建json对象json_quote 将json转成json字符串类型查询json json_contains 判断是否包含某个json值json_contains_path 判断某个路径下是否包json值json_extract 提取json值column->path jso
2021-10-17 09:55:31
2255
原创 kafka 消费机制
一、本文介绍了kafka的基础概念：topic、partition、broker、consumer、consumer group和producer。Topic一个Topic代表了一类资源，一种事件。比如用户上传的数据可以是一个topic，系统产生的事件也可以是一个topicBroker一个broker代表一个kafka实例，通常建议一台物理机配置一个kafka实例，因为配置多个磁盘的IO限制也注定了性能不会提升太多Partition一个Topic可以创建多个Partition，一个p
2021-10-06 10:45:09
6173
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人