中间件
做一个勤劳的码农
不积跬步无以至千里
展开
-
Elastichsearch--dsl
// 查询所有GET indexName/_search{ "query": { "match_all": { } }}//排序分页GET /pigg/_search{ "query": {"match_all": {}}, "sort": [ { "age": { "order": "desc" } ...原创 2020-04-26 17:06:39 · 245 阅读 · 0 评论 -
中间件——RocketMQ
在分布式系统中 ,消息中间件已经是古老的存在了优点:异步、解耦、削峰缺点:系统的复杂度上升、重复消费消息、消息的顺序消费问题、分布式事务问题、消息堆积的问题RocketMQ 是一个 队列模型 的消息中间件,具有高性能、高可靠、高实时、分布式 的特点。它是一个采用 Java 语言开发的分布式的消息系统,由阿里巴巴团队开发,在2016年底贡献给 Apache,成为了 Apache 的一个顶...原创 2020-04-16 17:17:14 · 752 阅读 · 0 评论 -
ZooKeeper
zookeeper简介ZooKeeper是一种集中式服务,用于维护配置信息,命名,提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务,应用程序最初通常会吝啬它们,这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成,这些服务的不同实现也会在部署应用程序时导致管理复杂性。...原创 2019-01-13 12:43:28 · 123 阅读 · 0 评论 -
Canal监控数据库数据变化
最近有需求需要监控数据库mysql里某些表的数据变化,来做相应的业务变化,采用了 canal+kafka 的技术架构。官网github指导很全面原理:将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有kafka 和RocketMQ安装:zk安装简单,就是解压修改配置zoo.cfg, 主要是端口(默认2181),log 和data 目...原创 2020-01-09 17:05:31 · 1892 阅读 · 0 评论 -
Spring-Kafka
Spring-Kafka 与 SpringBoot 集成最近项目遇到需要监控mysql数据库变化 , 需要及时更新es索引的问题 , 对于日常后台操作 , 数据量少直接用如下代码就行,但是遇到数据清洗后的百万数据更新就很慢了 @KafkaListener(topics = { "dyly_vc_project" }) public void handleProject(Consume...原创 2019-08-30 16:45:59 · 519 阅读 · 0 评论