![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
evan心诺在
本博客供大家交流,欢迎各抒己见。博文中的内容禁止用 于任何商业目的。如需转载博文,请尊重版权,注明本博客网址。 收起
展开
-
商业智能-大数据-后端工作-DATAWORKS(1)-基础介绍
背景:2018年5月份,刚来公司的时候要求写一份大型的数据报告,大概200多页。那时候公司的BI数据仓库还没搭建完善,而且数据ETL仍然使用的是KETTLE工具,只能支撑T+1的更新。更郁闷的是写个算法,结果跑了8个小时根本无法支撑整个每天产生的GB级别的数据计算量。还有更可怕的是,公司产品分为好几个版本,且放在不同的生产库内,早期的开发很多都离职了且经常是标注不明确,导致大量的脏数据。(还好...原创 2019-04-22 18:03:22 · 6032 阅读 · 0 评论 -
商业智能-大数据-后端工作-DATAWORKS(2) 数据集成的步骤和操作/MYSQL 数据离线集成到dataworks(1)
背景:dataworks提供数据离线批量数据同步。在次离线(批量)的数据通道主要通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(称之为 Reader)、数据写入插件(称之为 Writer),并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输的目的。数据集成的基本步骤如下:步骤一:点击左上角的LOGO,选择 ‘数据集成’...原创 2019-04-24 18:11:49 · 6794 阅读 · 1 评论