温柔的小才-CSDN博客

原创 PLsql(PLSQL Developer)安装与配置

选择connection，Oracle Home 填写步骤一里oracle的安装位置，oci填写Oracle Home中的内容加\oci.dll apply后确定，然后关闭页面。出现账号密码登录时选择取消，等待plsql打开后，选择configure----》preference。保存后，重新打开plsql就可以登录了。

2023-04-04 15:44:18 14303 1

原创 linux多节点zookeeper（不限于zookeeper）批量调起（举例，问题排查）

小笔记

2022-06-10 11:20:31 253

原创 kafka confluent schema registry 实现一个topic支持多个不同schema的表消费（包含报错信息及解决方式）

背景：上篇文章已经说明confluent schema registry优点及如何实现。本文实现kafka confluent schema registry 一个topic多个不同结构的表消费需求上篇文章：kafka Confluent Schema Registry 简单实践_温柔的小才的博客-CSDN博客第一步说明：在上篇文章基础上做修改。首先在原有topic下注册多个schema（这里注册两个做示范）。#进入kafka的目录下执行，启动kafkanohup bin/kafka

2022-05-27 19:38:40 1054

原创 kafka Confluent Schema Registry 简单实践

解释及目的：使用传统的Avro API自定义序列化类和反序列化类或者使用Twitter的Bijection类库实现Avro的序列化与反序列化，这两种方法都有一个缺点：在每条Kafka记录里都嵌入了schema，这会让记录的大小成倍地增加。为了让数据共用一个schema，使用通用的结构模式并使用"schema注册表"来达到目的。Confluent Schema Registry 在处理数据之前，会先读取注册的schema对数据进行解析，避免每条kafka数据都嵌入schema，从而达到数据优化的

2022-05-17 11:29:23 2318

原创 jar包手动添加到本地maven仓库详解

第一步：下载需要添加的jar包可以在maven库中查找下载，也可以在对应官网下载maven库网址：https://mvnrepository.com/第二步：将下载的jar包放到指定位置（位置自己指定，用得到），建议放在maven的repository路径下，方便管理第三步：配置本地maven库1.首先检查本地maven库环境变量是否配置正确打开cmd,执行 mvn -h 查看maven的环境变量是否配置正确如果不是上图显示，在path 中添加自己的m...

2022-05-16 17:37:06 19414 3

原创 window10环境下python + paramiko 进行sftp远程传输遇到的巨坑

1.报错：paramiko.ssh_exception.SSHException : [WinError 10061] 由于目标计算机积极拒绝，无法连接。代码如下：transport = paramiko.Transport(sock=(ip,22))transport.connect(username='name', password='pwd')sftp = paramiko.SFTPClient.from_transport(transport)sftp.put('./output.m

2022-04-24 15:11:53 3709

原创 flinkCDC+iceberg(hadoop catalog) 同步mysql数据库数据

flink可以实现hadoop catalog 和hive catalog 。前者映射hdfs地址，实现数据存储后者映射hive表地址，用于有关hive的数据处理及其他项目实操。1. 环境准备官网：https://iceberg.apache.org/1. hadoop 一定要分布式集群2.需要flink-connector-mysql-cdc-1.4.0.jar 即mysql-cdc连接器放到flink 的 lib下，为了连接数据库3. 需要将iceberg 0.13.1的j.

2022-04-18 11:42:49 4058 3

原创 Flink+hudi遇到的坑（error原因及处理，随时补充）

1. java.lang.LinkageError: org/apache/hudi/org/apache/parquet/column/ColumnDescriptor原因：主键问题处理方式：检查建表语句主键，参考官网主键设置。

2022-04-15 16:42:11 6072

原创 mysql+flinkCDC+hudi

一、准备事项1.需要一个Hadoop集群，分布式，单节点，伪分布式都可以。2.flink官网下载，下载的版本参照hudi官网 https://hudi.apache.org/docs/quick-start-guide/本文使用版本 flink1.13.6+hudi0.10.1注意：1.需要将在$FLINK_HOME/conf/flink-conf.yaml，添加配置taskmanager.numberOfTaskSlots: 4 （大于4就行）2.需要flink-connector-..

2022-04-08 14:42:15 2959

qq_40788398的博客