- 博客(36)
- 收藏
- 关注
原创 Debezium + Kafka 实现 MongoDB → Elasticsearch 实时同步:自定义 SMT 解决数组/删除问题(附 Docker 环境与全代码)
本文介绍了从MongoDB到Elasticsearch的实时数据同步方案,使用Debezium、Kafka和Elasticsearch Sink Connector构建完整链路。详细说明了MongoDB副本集配置步骤,包括密钥文件生成、初始化脚本编写和Docker Compose部署。通过测试数据验证了系统的可行性。该方案实现了MongoDB变更数据的可靠捕获、Kafka高效消息传递和Elasticsearch索引构建,为数据分析和搜索提供了完整的技术栈支持。
2025-07-29 09:00:00
902
5
原创 Logstash 多表增量同步 MySQL 到 Elasticsearch:支持逻辑删除与热加载,Docker 快速部署实战
本文介绍了一个基于Docker的ELK(Elasticsearch、Logstash、Kibana)堆栈部署项目。项目结构包含启动脚本、Elasticsearch数据目录和Logstash配置目录。启动脚本start-elastic.sh提供了自动化部署功能,支持自定义版本号(默认8.17.3)、密码设置(默认123456)和数据卷挂载选项。脚本会自动创建Docker网络,依次启动Elasticsearch、Kibana和Logstash容器,其中Logstash会挂载本地配置文件目录。
2025-07-25 21:35:02
531
原创 MongoDB 副本集搭建与 Monstache 实时同步 Elasticsearch 全流程教程
本文详细介绍了如何搭建MongoDB副本集并通过Monstache实现与Elasticsearch的实时数据同步。主要内容包括:1)使用Docker Compose部署三节点MongoDB副本集,配置密钥认证和初始化脚本;2)配置Monstache同步服务,设置MongoDB到Elasticsearch的映射关系和同步策略;3)通过Kibana验证数据同步效果,包括插入、更新操作的实时同步检查。该方案实现了MongoDB变更数据的自动同步、断点续传和增量更新,为构建数据分析和可视化平台提供了完整解决方案。
2025-07-24 12:02:38
575
原创 Docker Search 和 Docker Pull 失效解决
不要在校园网环境下使用,即使可以ping也是拉取不了镜像的,所以请使用移动数据等非校园网。重启docker服务。
2025-04-16 21:09:24
2228
原创 SpringBoot+Grafana+Prometheus+Docker-Compose 快速部署与JVM监控的快速入门的简单案例
通过SpringBoot+Grafana+Prometheus+Docker-Compose快速部署和JVM监控的简单入门案例。
2024-08-27 01:14:49
2067
1
原创 Spring + Boot + Cloud + JDK8 + Elasticsearch 单节点 模式下实现全文检索高亮-分页显示 快速入门案例
JDK8+Elasticsearch单节点模式下实现全文检索高亮分页显示案例。
2024-08-22 13:58:00
3982
原创 SpringBoot+Cloud+Webflux+Security+Gateway+Redis+Eureka+Rabbitmq+实现网关的安全JWT鉴权验证及(令牌桶)限速 简单案例
实现Gateway基于Webflux的JWT安全验证。
2024-08-21 18:57:22
1713
原创 Java基于数据库、乐观锁、悲观锁、Redis、Zookeeper分布式锁的简单案例实现(保姆级教程)
分布式锁是一种在分布式系统中用来协调多个进程或线程对共享资源进行访问的机制。它确保在分布式环境下,多个节点(如不同的服务器或进程)不会同时访问同一个共享资源,从而避免数据不一致、资源竞争等问题。分布式锁的工作原理与单机锁类似,但它需要考虑多个节点之间的协调。在获取锁时,进程必须确保锁的唯一性,即在任何时刻,只有一个进程能够成功获取锁,并且锁的状态能够在不同节点之间保持一致。
2024-08-18 15:25:15
1927
原创 Java中的线程创建和同步快速入门(保姆级教程)
当 Java 程序启动时,它会创建一个主线程(main线程),并可能会启动其他子线程。程序会等待所有用户线程完成后才会终止。守护线程:与用户线程不同,守护线程是用来在后台执行支持性任务的,当所有用户线程结束时,守护线程会自动终止,不管它是否完成了自己的任务。
2024-08-17 00:13:36
1284
原创 Java反射机制快速入门与通配符
在 Java 中,每个类在编译后都会生成一个.class文件,JVM 会为每个加载的类创建一个Class对象,这个对象包含了类的全部结构信息,包括类名、方法、字段、构造函数等。Class对象存储了类的元数据,这些元数据可以在运行时被访问。通过Class对象,程序可以动态地获取类的信息和操作类的内容。反射的核心在于通过Class对象动态加载类,获取类的各种结构信息。ClassFieldMethod这些类都位于包中。
2024-08-15 16:01:56
1135
原创 高性能的 C++ Web 开发框架 CPPCMS + WebSocket 模拟实现聊天与文件传输案例。
本案例通过WebSocket协议基于Vue模拟实时聊天与文件传输。
2024-08-13 12:52:33
2197
原创 C ++ 也可以搭建Web?高性能的 C++ Web 开发框架 CPPCMS + MySQL 实现快速入门案例
CppCMS 是一个高性能的 C++ Web 开发框架,专为构建快速、动态的网页应用而设计,特别适合高并发和低延迟的场景。其设计理念类似于 Python 的 Django 或 Ruby on Rails,但针对 C++ 提供了更细粒度的控制和更高效的性能。高性能与并发处理 CppCMS 是为高性能需求而设计的。它支持大规模并发处理,能够在高负载下高效运行,特别适用于需要处理大量请求的场景。由于使用 C++ 编写,CppCMS 可以利用操作系统的原生线程和异步 I/O 操作,提供极低的延迟和高吞吐量。
2024-08-12 22:28:12
7681
4
原创 SpringBoot + Hadoop + HDFS + Vue 实现一个简单的文件管理系统
基于Hadoop到底HDFS简单的文件管理系统。
2024-08-11 21:06:07
2335
13
原创 SpringBoot + RabbitMQ + WebSocket + STOMP 协议 + Vue 实现简单的实时在线聊天案例
WebSocket是一种在单个TCP连接上进行全双工通信的协议。它允许客户端和服务器之间的实时、双向数据传输。与传统的HTTP请求/响应模型相比,WebSocket更加高效,因为它在初次握手后,连接保持打开状态,可以不断传输数据。
2024-08-09 17:57:33
3105
4
原创 Docker + Nacos + Spring Cloud Gateway 实现简单的动态路由配置修改和动态路由发现
静态路由:是在配置文件或配置中心中手动定义并且不会自动改变的路由。管理员需要手动添加或更新路由配置。动态路由:是指路由条目根据实时的网络状态或服务注册信息自动更新。使用服务发现机制,路由器能够自动感知到服务的变化,并调整路由表。
2024-08-06 19:21:29
1956
1
原创 Spring Boot 3 + MinIO集群 + Nginx 负载均衡 实现图片(头像)的上传 + 更新替换 + 下载 简单案例
通过docker-compose实现了MinIO集群和Nginx的负载均衡,通过Spring Boot 整合MinIo实现图片的上传和下载。
2024-08-04 15:40:57
2078
原创 SpringBoot + QQ邮箱 + Kafka + Redis + Thymeleaf 模板引擎实现简单的用户注册认证
使用Kafka处理消息传递,Redis存储验证码和临时用户数据,JWT进行身份验证,Spring Boot提供开发环境,Thymeleaf生成动态页面,Bootstrap美化前端。实现了用户注册、登录、找回密码功能。注册时生成JWT Token并存储用户信息到Redis,通过Kafka发送验证邮件;登录和找回密码时生成验证码并通过Kafka发送邮件,用户输入验证码进行验证。
2024-08-03 15:22:45
1916
原创 Spring Boot + Spring Security + Redis + JWT + CSRF 双认证简单整合
当用户进行认证时,服务器生成一个 CSRF 令牌并存储在用户的会话或发送到客户端cookie 中。服务器将 CSRF 令牌发送给客户端,客户端在随后的请求中必须包含此令牌。服务器验证每个请求中包含的令牌是否与存储在会话或 cookie 中的令牌匹配。
2024-08-01 23:39:31
2301
原创 ShardingSphere-Jdbc + Spring Security + Redis 实现简单JWT认证
实现简单的jwt令牌验证,先禁用CSRF,只是简单的结合Redis进行缓存和有效期验证。如果 JWT(JSON Web Token)泄露了,任何持有该令牌的人都可以冒充令牌所有者发起请求,带来安全风险。
2024-07-31 23:49:48
1283
原创 Spring Boot 3 + Resilience4j 简单入门 + Redis Cache 整合
通过Resilience4j+Redis实现超时检测,限速访问,以及重试,还有熔断回退和批隔离等简单的案例模拟。
2024-07-29 23:49:20
2686
1
原创 Eureka+Spring Cloud OpenFeign 实现默认的负载均衡与Fallback(回退)
Eureka+OpenFeign实现简单的负载均衡和回退。
2024-07-28 16:48:51
1295
原创 SpringBoot框架简单整合ShardingSphere-JDBC实现MySQL分库分表和读写分离及加密混合
通过Docker-Compose启动3对IP不同的主从数据库,通过JPA和默认的HikariDataSource数据源结合MySQL将ShardingSphere-JDBC整合到SpringBoot框架,实现了读写分离,分库分片,以及加密和加密对特定的字段,仅供学习交流,不具备严谨性。
2024-07-26 10:36:35
1761
原创 Docker-Compose配置zookeeper+KaFka+CMAK简单集群
基于Ubuntu24.04 TLS稳定版进行测试安装,仅供参考学习。
2024-07-21 15:55:01
3267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅