自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 flink SQL 建表格式

-uuid() 是内置函数,因为日志表没有主键字段。插表时:当把null值写入flink的notnull列时。--跳过compaction ,避免重复消费。这个参数可以设置删除,默认是error报错;--如果json缺少filed是否报错。--并发参数,修改值修改写出文件数。--并发写:这里设为1减少资源占用。--是否无视json转换时的报错。hudi+hive同步。--开启hive同步。

2022-11-02 20:02:33 1388 1

原创 hudi cdc导入代码模板

第一种:通过 cdc-connector 直接对接 DB 的 binlog 将数据导入 hudi,优点是不依赖消息队列,缺点是对 db server 造成压力。第二种:对接 cdc format 消费 kafka 数据导入 hudi,优点是可扩展性强,缺点是依赖 kafka。nickname varchar(20) not null comment '学生小名',name varchar(20) not null comment '学生名字',3)flink读取kafka数据并写入hudi数据湖。

2022-11-01 16:41:25 385

原创 hudi-flink核心参数设置

Hudi参数设置-- 设置单个主键...) with (...)-- 设置联合主键f0 int,...) with (...)主键字段--支持主键语法 PRIMARY KEY 设置,支持逗号分隔的多个字段(0.13.0 之前版本为去重时间字段--record 合并的时候会按照该字段排序,选值较大的 record 为合并结果;不指定则为处理序:选择后到的 record并发参数名称说明默认值备注writer的并发,每个writer顺序写1~N个。

2022-11-01 16:37:55 1444

原创 hudi 数据湖笔记

hudi

2022-10-31 20:17:29 529

原创 jedispool工具类

static { //静态代码块。

2022-10-20 11:28:12 192 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除