- 博客(2)
- 收藏
- 关注
RSS订阅原创 数仓建设前期的准备工作（二）
数据开发要对公司积攒下来的数据要在大体上知道怎么用，下游有哪些用户。尽可能的了解公司有哪些数据，有哪些数据源头，数据量情况，更新机制，数据是否结构化，是通过接口调还是有权限能直连，数据能否持续稳定供应，这个需要和业务线负责人，后端同事，以及产品开发进行足够的沟通。. 自研系统的数据库，消息中间件，机器上的日志文件（埋点日志，服务日志），对于系统内部的数据是比较好处理的，常见的datax, sqoop，kettle去定时获取离线数据，Cdc工具例如canal，flinkcdc去承担获取实时数据的任务。
2023-04-13 09:50:09
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人