中间件
中间件
npk191954
这个作者很懒,什么都没留下…
展开
-
向量数据库 Milvus
Milvus是一个开源的向量数据库,用于存储和管理大规模向量数据。它允许高效地执行向量相似度搜索和检索操作。在Milvus中,数据是以集合(Collection)的形式组织的。每个集合可以包含多种不同维度的向量数据,可以创建、删除和更新集合。原创 2023-08-11 13:21:23 · 595 阅读 · 1 评论 -
Spark 将 MySQL 数据同步到 Elasticsearch
注意:请确保 MySQL 和 Elasticsearch 都在运行,且 MySQL 驱动程序(mysql-connector-java)和 Elasticsearch Spark 依赖项已添加到您的项目中。使用 Spark 将 MySQL 数据同步到 Elasticsearch,需要使用 Spark 提供的 Elasticsearch-Hadoop 库和 JDBC 数据源。上面的代码使用 Spark 读取 MySQL 数据库中的一个表,并将其写入 Elasticsearch 中的一个索引。原创 2023-08-01 15:20:50 · 321 阅读 · 1 评论 -
湖仓一体(Lakehouse)、数仓和数据湖
https://juejin.cn/post/7081254382377009166https://cloud.tencent.com/developer/article/1887013https://cloud.tencent.com/developer/article/2010884原创 2023-08-01 14:42:21 · 40 阅读 · 1 评论 -
2PC 两阶段提交
这个实现可以通过一些额外的机制进一步增强,比如在参与者和协调者之间建立心跳来检测失败,或者使用日志来记录全局事务的状态等。但基本思路是一致的。1. 准备阶段:协调者询问每个参与者是否准备好执行提交。每个参与者将其事务设置为只准备状态,如果所有参与者都确认准备好了,进入确认阶段。2. 确认阶段:协调者通知每个参与者提交事务。参与者完成其事务的提交工作。如果在任何阶段发生失败,就通知所有参与者回滚事务到事务开始前的状态。原创 2023-08-01 10:27:09 · 199 阅读 · 0 评论 -
使用 ESrally 2.3.0 压力测试 Elasticsearch 7.1
Elasticsearch 服务器单机2核8G,ESrally 服务器2核1G。原创 2023-07-31 14:20:28 · 198 阅读 · 1 评论 -
同城双活(多活)
同机房:0.1ms同城(100公里以内):1ms北京到上海:38ms杭州到北京:38ms北京到广州:53ms。原创 2023-07-30 15:43:04 · 288 阅读 · 1 评论 -
Flink CDC 单线程读取 mysql binlog 同步到 Elasticsearch 的压力测试
执行过程是每次更新 name 的值,以递增的方式从随机 32 个字符中截取,当前这次更新的 name 长度会是变更前 name 长度加 1。期望是 MySQL 和 Elasticsearch 中的 id 为 1 的记录的 name 字段最终都为空值。Elasticsearch 中 id 为 1 的记录的 name 字段为空值,未乱序。Elasticsearch 中 id 为 1 的记录的 name 字段为空值,未乱序。MySQL 中 id 为 1 的记录的 name 字段为空值,未乱序。原创 2023-07-29 18:24:30 · 425 阅读 · 1 评论 -
canal 的 serverMode 模式
不需要 canal client,直接使用消息队列接收消息,支持消息按 key 进行哈希分片存储到消息队列。需要自定义 canal client 实现消息发送到消息队列。原创 2023-07-27 15:50:15 · 474 阅读 · 1 评论 -
解决 MySQL binlog 同步时出现的乱序
要实现将MySQL的binlog日志发送到RocketMQ,可以使用Canal作为中间件来监听MySQL的binlog,并将监听到的数据发送到RocketMQ。1. 安装Canal:首先,需要在服务器上安装Canal。可以从Canal的官方网站下载并安装Canal Server。2. 配置Canal:在Canal Server的配置文件(conf/canal.properties)中,配置MySQL的连接信息,包括MySQL的地址、端口、用户名和密码。3. 配置RocketMQ:在Canal Server的原创 2023-07-27 11:29:03 · 708 阅读 · 1 评论 -
Raft 算法实现
【代码】Raft 算法实现。原创 2023-07-12 23:12:32 · 330 阅读 · 1 评论 -
实现 Kafka 分区内消费者多线程顺序消费
生产者在写的时候,可以指定一个 key,被分发到同一个 partition 中去,而且这个 partition 中的数据一定是有顺序的。消费者从 partition 中取出来数据的时候,也一定是有顺序的。到这里,顺序还是没有错乱的。但是消费者里可能会有多个线程来并发处理消息,而多个线程并发处理的话,顺序可能就乱掉了。原创 2023-07-11 12:55:45 · 2223 阅读 · 1 评论 -
【使用 flink-cdc 将数据从 mysql 同时同步到 redis, elastisearch, clickhouse】
首先,需要在 Flink 中配置 CDC 数据源,使其能够连接到 MySQL 并捕获变化的数据。然后,将捕获的数据流通过 Flink Table API 转换为流表,然后使用表 API 的 sink() 函数将数据流发送到 Redis、Elasticsearch 和 Clickhouse 中。要从 MySQL 同时同步到 Redis、Elasticsearch 和 Clickhouse,可以使用 Flink CDC 和 Flink Table API 来实现。原创 2023-06-27 13:03:57 · 1383 阅读 · 1 评论 -
【读写锁 ReadWriteLock 结合 LinkedHashMap】
【代码】【读写锁 ReadWriteLock 结合 LinkedHashMap】原创 2023-06-26 17:07:42 · 85 阅读 · 0 评论