大数据小场景问题解决思路及代码样例
文章平均质量分 63
记录大数据日常开发中遇到一些小场景的解决思路及相应的代码样例
天涯到处跑
这个作者很懒,什么都没留下…
展开
-
自定义Flink kafka连接器Decoding和Serialization格式
使用kafka连接器时:1.作为source端时,接受的消息报文的格式并不是kafka支持的格式,这时则需要自定义Decoding格式。2.作为sink端时,期望发送的消息报文格式并非kafka支持的格式,这时则需要自定义Serialization格式。原创 2023-10-14 17:21:17 · 1100 阅读 · 1 评论 -
Flink自定义sink并支持insert overwrite 功能
自定义flink sink,批模式下,有insert overwrite 需求或需要启动任务或任务完成后时,只执行一次某些操作时,则可参考此文章。原创 2023-10-14 17:02:16 · 994 阅读 · 1 评论 -
免密码方式获取Hive元数据
开发中可能用到hive的元数据信息 ,如获取hive表列表、hive表字段、hive表数据量大小、hive表文件大小等信息,要想获取hive元数据信息即需要hive元数据库的账号及密码,此次提供的是一种不需要hive元数据库密码及可获取元数据信息的方式。原创 2023-10-14 16:51:46 · 751 阅读 · 1 评论 -
flink1.12 纯flinkSql 双流join实现舆情数据宽表加工
细节待补充主要是maxwell 监控采集到mysql中舆情数据表、用户信息表信息,用户表先与重点关注人员维度表、省份维度表关联得到用户信息维度表,再与舆情数据表实时join 最终落到es中 供各项指标查询...原创 2021-07-28 13:11:51 · 990 阅读 · 0 评论