- 博客(4)
- 收藏
- 关注
RSS订阅原创 sparkStreaming实现数据库之间秒级数据同步
try {//初始化源数据库//初始化meta数据库receive()} catch {/*** 读取数据并将数据发送给spark*///创建线程读取数据//创建一个新的offset时间戳//读取源数据库中的增量数据//读取源数据库的表所有列字段//按列读取数据到数组中//将读取到的增量数据保存至store中}.start()//重启任务/*** @return*/} else {try {if (stmt!} catch {//配置文件名称if (!
2024-03-18 19:25:40
531
原创 血缘分析工具之整体思路
这部分主要血缘关系的梳理主要是梳理埋点和数仓的贴源层关系,分析埋点和数仓贴源层的关系，需要我们做数据埋点的时候形成埋点文档，确认每个埋点对应的数据接入任务以及每个埋点对应数据仓库对应贴源层的表，每一次的埋点方案需要对应的归档管理，或者有对应的埋点管理系统。这部分是数仓的建设部分，从数仓的贴源层到最终的数据指标模型，指标加工部分，我们一般使用sql的方式来实现， 就需要我们分析模型构建的sql，分析每一条sql的源表和插入表。（2）业务库-》数据进去数仓-》形成指标。（1）埋点-》数据进去数仓-》形成指标。
2024-03-18 14:57:15
852
原创 血缘分析工具（一）之idea中使用antrl4插件和g4文件
1、idea安装antrl4的插件2、g4文件的下载和使用3、如成Visitor和Listener何生4、如何调试适配无法解析的sql
2024-03-18 11:12:24
672
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人