Confluent Platform
文章平均质量分 76
实时流处理:ETL, 数据同步
根哥的博客
big world needs big-data-manager !
展开
-
FlinkSql-cdc 实时ETL kafka 数据
文章目录1, flink source connector: debeziuma, mysql开启binlog, 创建mysql 表和cdc用户b, 使用 ksql 创建kafka连接器:debezium2, flink sink connector: hbase 1, flink source connector: debezium https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/forma原创 2021-07-28 15:14:26 · 1733 阅读 · 2 评论 -
Confluent Platform: Control Center UI 用户验证(BASIC)
文章目录1, 配置 systemd 启动参数2,配置密码文件3,启动并测试服务 1, 配置 systemd 启动参数 https://docs.confluent.io/5.5.5/control-center/security/authentication.html#ui-authentication systemd配置文件添加启动参数 CONTROL_CENTER_OPTS=-Djava.security.auth.login.config=/opt/confluent/lib/profiles/con原创 2021-07-22 11:31:56 · 351 阅读 · 0 评论 -
Confluent Platform: ksqlDB数据转换( join查询 )
文章目录1, mysql数据源准备2, ksqldb创建stream 1, mysql数据源准备 create table employee (id int, dept_id int, name varchar(20) ); create table dept ( id int, name varchar(20)); create table salary ( id int, emp_id int, money DOUBLE ); INSERT INTO test.employee VALUES(1,原创 2021-07-21 11:22:15 · 357 阅读 · 0 评论 -
Confluent Platform: ksqlDB 实时数据 ETL2 (Oracle-cdc Source)
文章目录1, oracle(11g) cdc 配置2, 配置 oraclecdc-source2.1 oraclecdc-- > hbase 1, oracle(11g) cdc 配置 oraclecdc-source 配置文档:https://docs.confluent.io/kafka-connect-oracle-cdc/current/overview.html 2, 配置 oraclecdc-source curl -s -X POST -H 'Content-Type: applicat原创 2021-07-13 11:00:38 · 627 阅读 · 0 评论 -
Confluent Platform: 正式环境安装
文章目录1,获取配置文件2,使用systemd 管理服务3, 启动服务 1,获取配置文件 ##1,获取生效的配置(从confluent local services start 启动后获取) $> find /tmp/confluent.33312/ -name '*.properties' -exec cp {} . \; # 2,创建数据目录 $> grep /var/lib/confluent*.* * -o -h |xargs -n 1 mkdir -p ##3,保留生效的配置原创 2021-07-06 10:00:40 · 671 阅读 · 0 评论 -
Confluent Platform: ksqlDB 实时流处理 (quick start)
文章目录1, Confluent Platform介绍功能2, 快速部署: quick starta, 解压安装并启动服务b, Control Center页面化操作:创建topic并生成测试数据c, 使用ksqlDB :查看数据/ 创建table或stream 1, Confluent Platform介绍 Confluent Platform 是一个全面的事件流平台,使您能够以连续的实时流的形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka® 的原始创建者构建,通过企业级功原创 2021-06-18 09:20:07 · 1029 阅读 · 5 评论 -
Confluent Platform: ksqlDB 实时数据 ETL
1, 操作说明 pgsql --> ksqldb --> mysql 2, 创建测试环境,使用ksql创建kafka连接器 a, 环境准备: pgsql表和数据, mysql表结构 角色 ip mysql (笔记本物理机) 192.168.56.1 pgsql( 虚拟机: 用docker启动一个容器) 192.168.56.117 D:\download\: mysql> create database test; create t原创 2021-06-18 18:11:01 · 755 阅读 · 1 评论 -
Confluent Platform: ksqlDB 基本语法
文章目录1, 资源管理/查看: show, describe, drop2, 集合管理: stream, tablea, 创建stream/table: create xxb, 插入查询数据 ( stream/table ): insert into / select xx from 1, 资源管理/查看: show, describe, drop 在ksql中,非字母数字的资源名称要用`反斜线`来表示 ( `JdbcSourceConnector_mysql-t1` ) 类别 语法 查原创 2021-06-23 10:56:20 · 518 阅读 · 0 评论