- 博客(28)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 mongodb sink connector实现多个collection插入且集合名字保持和源库一致
这里sink connector采用namespace.mapper实现利用源库的库名和集合名。
2024-03-26 20:37:23
54
原创 debezium使用ssl连接mongodb
需要给trustStore设置密码（找个小本本记住这个密码，别忘了，忘了也没关系，重新把证书导入一遍就可以了）3. 在kafka启动的参数中指定trustStore的路径。kafka source connector的请求体。2. 查看证书是否导入到trustStore。本教程适用于debezium1.9版本。重启kafka-connect服务。
2024-03-25 21:03:09
58
原创 mongodb系统库和系统集合说明
系统库adminadmin数据库通常用于管理MongoDB实例。它包含了用户、角色、权限和其他管理操作所需的系统集合configconfig数据库是用于支持分片集群的。它包含了分片集群配置信息和元数据。locallocal数据库是一个特殊的数据库，它仅限于当前MongoDB实例。它通常包含了复制集和分片集群中的本地操作信息，例如oplog（操作日志）。系统集合admin.system.roles存储了所有定义的角色信息，包括角色名称、权限等admin.system.users用于
2024-03-23 16:30:59
151
原创 jconsole连不上远程jmx服务的问题
远程的虚机是多个网卡的，这里需要在jmx启动进程环境变量中指定需要bind的虚机ip地址。这样在java程序启动时指定一个具体ip，就可以通过jconsole远程连接jmx服务了。如果还是连不上，请联系15822823467，或者评论留言。
2024-03-20 14:31:49
303
原创 利用Jolokia-agent通过http服务方式获取debezium-mongodb的监控指标
jolokia是java进程的一个agent，可以获取java应用中各类MBean信息，并以http json的形式提供服务。
2024-03-18 11:05:44
79
原创 Debezium迁移mongodb3.6报错解决方案(二)
这个集合属于mongodb系统生成的集合，是database级别的，即每个database下都可能会有这个集合。debezium mongodb connector默认不会同步admin、config、和local库下面的集合。测试过的版本：mongodb3.6和4.0版本。
2024-03-14 08:36:28
417
原创 debezium mongodb迁移报错解决
mongodb迁移报错Caused by: org.apache.kafka.connect.errors.DataException: Value expected to be of type STRING is of unexpected type NULL
2024-03-12 11:13:31
125
1
原创 推荐一个特别好用的私人网盘nextcloud
推荐一个特别好用的私人网盘nextcloud，非常好用，用docker搭建非常简单。参考文档：https://github.com/nextcloud/docker。
2024-02-06 15:43:12
255
1
原创 物理备份恢复mongodb副本集
本文章主要讲解通过物理备份文件恢复mongodb副本集，也适用于mongodb单节点实例转变成副本集实例，转换过程中使用单节点的物理备份即可。
2024-02-04 14:19:02
412
1
原创 elasticsearch6.x集群安装部署
在三个节点上分别安装jdk和elasticsearch服务，并以单节点的形式启动服务，验证服务是否正常安装。到此3个节点的es只是单独存在的，还没有形成一个集群，需要调整配置使其形成集群。说明：jdk版本不能低于1.8，推荐使用openjdk。操作系统为centos7.6。
2023-02-09 15:20:14
332
原创 redis集群报错：(error) CROSSSLOT Keys in request don‘t hash to the same slot
解决思路就是采用redis cluster的hashTag，当redis的key加上hashTag时，集群算key的slot是按照hashTag进行计算，即可保证hashTag一致的key能分配到相同的stlot中。用mset多键命令向redis cluster 写入多键的时候报错：(error) CROSSSLOT Keys in request don’t hash to the same slot。这个问题是因为多键操作的时候每个键对应的slot可能不是一个，客户端没法做move操作。
2023-01-07 09:34:01
2172
原创 debezium抽取mysql timestamp和datetime类型值是“0000-00-00 00:00:00”
debezium迁移mysql “0000-00-00 00:00:00”值如何处理的
2022-12-01 11:27:25
1019
原创 Debezium如何保证高可用性
默认debezium source connector创建出来的topic是1个副本，这样如果正好是当前副本所在的节点挂掉的时候，虽然kafka是集群是高可用的，但是topic的数据却无法访问到了，所以要保证connector创建出来的topic副本数大于1，建议值为3。debezium采集出来的每个表数据对应存放到kafka的1个topic中，每个source connector也会有一个记录ddl变化的history topic，所以要保证高可用的大前提是kafka 集群的高可用。
2022-09-29 16:48:37
719
原创 Debezium-mysql开启ssl
主要讲解debezium怎么配置ssl，至于mysql怎么开启ssl功能请自行百度。，debezium会和源库建立ssl链接且会验证ca。: keystore名字，如果没有则会在当前目录新建。命令导入ca.pem到truststore。: keystore 密码，记住不能忘！服务所在机器的truststore中。：告诉keytool要导入cert。：证书的别名，不能重名。: 要导入的证书文件。
2022-09-29 15:41:28
793
原创 mongod3.6副本集搭建
以3节点为例，采用RPM包安装，RPM包下载地址如下（版本为3.6.23）：官方下载地址本站下载地址在每个节点上分别通过rpm安装包安装mongod服务修改每个节点的/etc/mongod.conf配置文件的副本集相关配置，如下:#bindIp是绑定的ip信息，默认只能通过127.0.0.1连接，生产环境建议设置成虚机具体的ipnet.bindIp: 0.0.0.0#每个节点的上副本集名字必须保持一致replication.replSetName: myrs启动每个节点的mon.
2021-08-24 16:37:38
222
原创 odfe（open distro for elasticsearch）自签名证书做法
odfe（open distro for elasticsearch） 自签名证书制作1. 安装openssl(做证书的工具)2. 制作根证书3. 制作admin证书4. 制作node证书本文实例都是运行在centos系统上1. 安装openssl(做证书的工具)查看当前机器是否安装了openssl服务，如果安装了则直接可以用，未安装的话需要先安装openssl服务，查看是否安装命令：openssl versionOpenSSL 1.0.2k-fips 26 Jan 2017安装o
2021-04-27 10:18:55
430
原创 go gin获取query参数并设置默认值
只获取query参数不设置默认值首先看gin有关获取url query参数的方法：// 该方法获取url 的query参数有则返回，没有则返回空字符串func (c *Context) Query(key string) string { value, _ := c.GetQuery(key) return value}例如获取query参数name：func AddUser(c *gin.Context) { //获取 url中query参数为name的值 //如果query参数没
2021-03-29 20:22:29
5321
原创 redis 常见debug命令
redis 常见debug命令造数据，如造1000条数据debug populate 10000模拟oomdebug oom模拟宕机debug segfault模拟hang（阻塞）住DEBUG sleep 30模拟加载rdbdebug reload模拟AOF 加载debug loadaof
2021-03-29 19:45:31
658
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人