资源哥nni
码龄3年
关注
提问 私信
  • 博客:4,318
    4,318
    总访问量
  • 5
    原创
  • 553,805
    排名
  • 1
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
  • 加入CSDN时间: 2022-05-31
博客简介:

m0_71551473的博客

查看详细资料
个人成就
  • 获得1次点赞
  • 内容获得2次评论
  • 获得3次收藏
创作历程
  • 5篇
    2022年
成就勋章
兴趣领域 设置
  • Java
    javaintellij-idea
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

flink SQL 建表格式

-uuid() 是内置函数,因为日志表没有主键字段。插表时:当把null值写入flink的notnull列时。--跳过compaction ,避免重复消费。这个参数可以设置删除,默认是error报错;--如果json缺少filed是否报错。--并发参数,修改值修改写出文件数。--并发写:这里设为1减少资源占用。--是否无视json转换时的报错。hudi+hive同步。--开启hive同步。
原创
发布博客 2022.11.02 ·
1529 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

hudi cdc导入代码模板

第一种:通过 cdc-connector 直接对接 DB 的 binlog 将数据导入 hudi,优点是不依赖消息队列,缺点是对 db server 造成压力。第二种:对接 cdc format 消费 kafka 数据导入 hudi,优点是可扩展性强,缺点是依赖 kafka。nickname varchar(20) not null comment '学生小名',name varchar(20) not null comment '学生名字',3)flink读取kafka数据并写入hudi数据湖。
原创
发布博客 2022.11.01 ·
416 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hudi-flink核心参数设置

Hudi参数设置-- 设置单个主键...) with (...)-- 设置联合主键f0 int,...) with (...)主键字段--支持主键语法 PRIMARY KEY 设置,支持逗号分隔的多个字段(0.13.0 之前版本为去重时间字段--record 合并的时候会按照该字段排序,选值较大的 record 为合并结果;不指定则为处理序:选择后到的 record并发参数名称说明默认值备注writer的并发,每个writer顺序写1~N个。
原创
发布博客 2022.11.01 ·
1566 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

hudi 数据湖笔记

hudi
原创
发布博客 2022.10.31 ·
578 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

jedispool工具类

static { //静态代码块。
原创
发布博客 2022.10.20 ·
230 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏