大数据
打不死的小黑
个人github地址:https://github.com/wakemeuphzk/study,关于AI的学习记录,与各位共勉! 喜爱文艺的程序员,喜欢技术研究、毛姆、陈奕迅、张国荣、文学创作、火影及绘画的记得关注微信公众号:残留的存在主义。
展开
-
Kafka发送大message配置
Kafka发送大message数据配置kafka达到最佳吞吐量的消息大小是10k,然而有些场景需要kafka发送很大的消息,比如消息中含有base64格式的图片或短视频信息等。项目中采用的spring集成kafka模块,如需支持大消息发送,需要进行以下两个方面的配置:1.Kafka服务配置1.1 broker配置server.properties中添加:message.max.byt...原创 2019-09-26 15:47:50 · 3980 阅读 · 0 评论 -
ReplyingKafkaTemplate的使用——Spring结合Kafka实现同步调用
ReplyingKafkaTemplate的使用——Spring结合Kafka实现同步调用一、应用场景二、使用实践1. 版本要求需要支持ReplyingKafkaTemplate的spring版本,即 2.1.3 及以上版本,kafka版本无要求2. 注意事项暂不支持配置文件方式(yml\properties),需要java代码实现config3. Producer3.1 prod...原创 2019-09-26 15:00:27 · 5189 阅读 · 2 评论 -
解决缓存和数据库的数据一致性
参考:阿里巴巴 MySQL binlog 增量订阅&消费组件Debezium for PostgreSQL to KafkaLogical Decoding Output Plug-in Installation for PostgreSQL解决思路总体思路,监听数据库操作记录日志(DML为主),将数据的变动发向kafka,然后应用端进行消费更新缓存。如下图所示:下面按照数据...原创 2019-09-26 16:59:12 · 648 阅读 · 0 评论