kafka
关注
分享
扫一扫
文章平均质量分 72
TracyGao01
保持专注
展开
-
Kafka节点扩容、缩容后reassign partition
文章目录简介kafka-reassign-partitions使用简介kafka节点扩容、缩容后，需要reassign partition replica，kafka-reassign-partitions使用–generate 生成partition replica分配计划 ./kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topic.json --broker-list原创 2021-09-30 14:29:25 · 724 阅读 · 0 评论 -
Kafka Sql：简单使用
Confluent:5.3.1Confluent安装：https://blog.csdn.net/u012551524/article/details/103686739kafka:2.0.01、修改配置文件/data/software/confluent-5.3.1/etc/ksql/ksql-server.propertiesbootstrap.servers=bigdata-...原创 2019-12-24 18:59:04 · 2434 阅读 · 0 评论 -
Confluent:control-center配置启动
Confluent：5.3.1Confluent:安装参考：https://docs.confluent.io/3.0.0/control-center/docs/quickstart.html#controlcenterquickstart备注：Confluent安装后，control-center可直接配置启动配置启动流程：1、修改control-center.prope...原创 2019-12-24 18:08:00 · 2596 阅读 · 0 评论 -
Confluent安装
confluent:5.3.1参考：https://docs.confluent.io/current/quickstart/ce-quickstart.html?_ga=2.186744559.673498406.1577067018-157180488.1576751830&_gac=1.217163364.1577170466.CjwKCAiA__HvBRACEiwAbViuUz...原创 2019-12-24 17:57:33 · 1838 阅读 · 0 评论 -
kafka:UNKNOWN_TOPIC_OR_PARTITION
Error while fetching metadata with correlation id 11 : {xxxx=UNKNOWN_TOPIC_OR_PARTITION}可能原因：topic不存在，切自动创建失败设置：auto.create.topics.enable=true...原创 2019-08-23 15:09:01 · 30785 阅读 · 2 评论 -
Postgresql热切换情况下通过流复制完成数据到Hbase的实时同步
插件版本：Postgresql：9.6Debezium：debezium-0.8.3Sqoop：1.4.7目标：1、通过流复制的形式实现数据从Postgresql到Hbase的实时同步2、Postgresql两个节点在热切换时保证数据的完整性流程如下图：要解决的问题：如上图Postgresql1与Postgresql2之间为热切换关系，一旦Postgresq...原创 2019-03-25 19:37:36 · 1140 阅读 · 1 评论 -
Debezium:mysql connector使用
前言：mysql connector支持功能：1、数据流式处理2、支持多种模式mysql集群的数据处理3、支持流复制异常中断后的数据自动恢复4、支持DDL级别操作的数据流处理备注：本文以kafka单节点开发环境为例，多节点分布式连接器相似，参考：https://blog.csdn.net/u012551524/article/details/83349324插件版本：...原创 2018-11-19 19:31:35 · 5097 阅读 · 0 评论 -
Debezium:mysql connector安装
前言：debezium提供了多种基于kafka的连接器，方便对RDB做数据流处理，包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强，代码可控，本篇介绍基于mysql的安装使用插件版本：Kafka:CDK3.10 (相当于Kafka1.1版本)，这里需要kafka 0.10以上版本才能支持Debezium:0.83Mysql:5...原创 2018-11-19 19:22:53 · 2655 阅读 · 1 评论 -
Debezium：关于Postgresql9.5版本不支持断点续传问题解决
前言：Debezium官方源码只支持pg9.6以上版本的流复制断点续传，9.5版本及其以下版本一旦任务失败，流复制连接无法重启，数据无法实现自动恢复解决：这里采用修改源代码的形式来解决9.5版本的支持问题插件版本：Debezium:debezium-0.8.4Postgresql:9.5解决方法：1、下载官方源代码（这里我下载的0.8版本的源代码）https:/...原创 2018-11-20 15:33:30 · 1813 阅读 · 3 评论 -
Debezium：数据类型numeric、decimal由PostgreSql输出到kafka后类型不匹配问题
环境：Debezium版本：0.8.3PostgreSql版本：9.5Kafka版本：CDK3.1.0(KAFKA:1.0.1)问题：Debezium从postgresql解析数据到kafka后，发现numeric类型数据输出格式异常，如下：{"scale":0,"value":"F3A="}原值为6000解决：需要配置参数，更新kafka连接器配置"decim...原创 2018-10-30 18:57:44 · 2947 阅读 · 1 评论 -
Debezium:kafka 连接器配置
目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集方法：Postgresql----->Debezium----->Kafka------>Sparkstreaming------>Phoenix本文：本文主要是kafka连接器一些相关配置官网参考地址...原创 2018-10-24 19:48:58 · 8470 阅读 · 1 评论 -
Debezium:数据实时采集从Kafka到phoenix
目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集，并写入Phoenix方法：Postgresql -----> Debezium -----> Kafka ------> Sparkstreaming ------> Phoenix本文：本文主要是从Kafka到Phoe...原创 2018-09-28 21:12:09 · 1962 阅读 · 0 评论 -
Debezium:数据实时采集从Postgresql到Kafka
目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集方法：Postgresql -----> Debezium -----> Kafka ------> Sparkstreaming ------> Phoenix本文：本文主要是从Postgresql到Kafka，不包括后...原创 2018-09-21 14:31:22 · 11005 阅读 · 3 评论