- 博客(10)
- 资源 (4)
- 收藏
- 关注
原创 七:Debezium本地环境搭建(2)-本地启动和调试
在启动Debezium之前,首先我们要尝试理解Debezium的运行原理,Debezium本身的代码就是一个work,如果你使用过MapReduce或者 xxjob,为了便于理解,虽然不准确,你可以理解就是其中的一个任务, Debezium是基于kafka connector 上的作业,所以需要继续kafka connect来运行。Kafka Connect 专门用于将数据复制进和复制出 Kafka。概括地说,连接器是一项管理任务及其配置的作业。
2023-04-25 10:29:20 545
原创 六:Debezium本地环境搭建(1)-代码编译
这里需要手动导入两个jar包,oracle的驱动包和xstreams包,因为非开源,这里就不附了,请到oracle官网下载。debezium-build-parent 这个工程,可以注释掉该工程下pom不相关的工程,可以参考注释以下工程。编译成功即完成代码编译部分的工作,下一节讲下怎样启动本地代码,以便于debug跟踪。这里如果全部编译,可能编译不成功,因此,本次只编译oracle和基础包。切换到对应的代码分支,本次使用的是 v 1.8.1.final。待编译成功后,单独编译。
2023-04-20 14:34:24 557
原创 五:Debezium测试 DML篇
其中 $1变量,取的是:database.server.name这个变量 也就是ddl的topic名称,如果不生效可以指定固定的。这个$2 代表 schema名称,可以用变量,也可直接用C__TEST,此处就是简单的正则,变量未经验证。》,只是将其中的create预计改为DML语句即可。$1.${schema}.${表名}删除kafka-connect任务。
2023-04-19 16:42:16 280
原创 四、Debezium测试 DDL篇
打开postman或者其他远程http测试工具调用注册地址:kafka-connect默认端口8083,这里的地址是kafka-connect服务启动所在的地址http://127.0.0.1:8083/connectors 参数:"database.server.name" :这里的命名会在kafka中生成对应的topic,该topic里面存储的是ddl解析结果, 重新注册时,该topic需要变更名称或在kafka删除原有的topicname:连接器的名称,删除的时候会用到"schema.incl
2022-07-05 16:49:13 774 1
原创 三、Debezium环境搭建(2) -kafka相关
kafa环境的搭建,分为两大部分:1. 依次启动zookeeper,kafka和kafka connector本次文档使用的kafka版本为:2.12kafka下载地址:https://archive.apache.org/dist/kafka/2.4.0/kafka_2.12-2.4.0.tgz下载完成后,将kafka上传至 linux服务器使用 tar -zxvf kafka_2.12-2.4.0.tgz 解压,完成进入解压后的主目录(1)配置插件地址创建一个目录,并给予ka
2022-05-14 22:25:18 638
原创 二、Debezium环境搭建(1) -oracle
一:Debezium介绍(当前文章)三:Debezium环境搭建(2) -kafka相关 (待发表,预计5-15之前)下载和安装参考官方文档,版本19c :Database Software Downloads | Oracle 中国debezium支持参见官方文档:https://debezium.io/documentation/reference/1.8/connectors/oracle.html...
2022-05-04 22:32:49 1254
原创 一、Debezium介绍
Debezium 是一个用于变更数据捕获的开源分布式平台。启动它,将其指向您的数据库,您的应用程序可以开始响应其他应用程序提交到您的数据库的所有插入、更新和删除操作。Debezium 耐用且快速,因此您的应用程序可以快速响应并且不会错过任何事件,即使出现问题。上面是官方介绍,我用翻译软件直接翻译的,简单来说,这个开源项目就是可以监控到数据库的变化,包括DDL和DML变更,当然目前DDL的变更仅支持做基本的解析,例如分区表,外键,约束等均不支持,但是你可以进行扩展开发。.........
2022-04-22 15:13:39 1177
原创 apacha shiro 登录登出测试
这段话来自百度百科:shiro 三个核心组件:Subject, SecurityManager 和 Realms.Subject:即“当前操作用户”。但是,在Shiro中,Subject这一概念并不仅仅指人,也可以是第三方进程、后台帐户(Daemon Account)或其他类似事物。它仅仅意味着“当前跟软件交互的东西”。但考虑到大多数目的和用途,你可以把它认为是Shiro的“用户”概念。...
2018-08-09 18:32:44 185
原创 SpringCloud 入门2(服务消费)
上一篇完成了注册中心,服务提供者,这篇来完成服务消费,当然,不管是服务提供者还是消费者,对于注册中心来说,就是注册在注册中心的一个微服务。1. rabbon方式微服务消费新建springboot工程,选择支持如下,其中Discovery和Server任选一个就可以了配置文件:eureka: client: healthcheck: enabled: true ser...
2018-07-13 15:58:50 207
原创 SpringCloud 入门1(服务注册和服务发现)
开发工具 Spring Tool Suite™ (STS):3.9.5 (或者 使用eclipse自己安装sts插件)1. 注册中心 在微服务架构中,由于服务粒度一般很小,服务众多,因此有效管理服务就显得非常重要,所以,第一步我们先来写一个简单的注册中心,这里采用Spring Cloud Netflix的Eureka ,eureka是一个服务注册和发现模块。新建maven工程,在sts中,fil...
2018-07-13 15:10:48 182
简易静态Web服务器
2014-12-04
DWR弹出"failed to read input...”
2013-12-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人