- 博客(5)
- 收藏
- 关注
RSS订阅原创 flink SQL 建表格式
-uuid（） 是内置函数，因为日志表没有主键字段。插表时：当把null值写入flink的notnull列时。--跳过compaction ，避免重复消费。这个参数可以设置删除，默认是error报错；--如果json缺少filed是否报错。--并发参数，修改值修改写出文件数。--并发写：这里设为1减少资源占用。--是否无视json转换时的报错。hudi+hive同步。--开启hive同步。
2022-11-02 20:02:33
1388
1
原创 hudi cdc导入代码模板
第一种：通过 cdc-connector 直接对接 DB 的 binlog 将数据导入 hudi，优点是不依赖消息队列，缺点是对 db server 造成压力。第二种：对接 cdc format 消费 kafka 数据导入 hudi，优点是可扩展性强，缺点是依赖 kafka。nickname varchar(20) not null comment '学生小名',name varchar(20) not null comment '学生名字',3）flink读取kafka数据并写入hudi数据湖。
2022-11-01 16:41:25
385
原创 hudi-flink核心参数设置
Hudi参数设置-- 设置单个主键...) with (...)-- 设置联合主键f0 int,...) with (...)主键字段--支持主键语法 PRIMARY KEY 设置，支持逗号分隔的多个字段(0.13.0 之前版本为去重时间字段--record 合并的时候会按照该字段排序，选值较大的 record 为合并结果；不指定则为处理序：选择后到的 record并发参数名称说明默认值备注writer的并发，每个writer顺序写1~N个。
2022-11-01 16:37:55
1444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人