大数据开发
evan心诺在
本博客供大家交流,欢迎各抒己见。博文中的内容禁止用 于任何商业目的。如需转载博文,请尊重版权,注明本博客网址。 收起
展开
-
商业智能-大数据-后端工作-DATAWORKS(1)-基础介绍
背景:2018年5月份,刚来公司的时候要求写一份大型的数据报告,大概200多页。那时候公司的BI数据仓库还没搭建完善,而且数据ETL仍然使用的是KETTLE工具,只能支撑T+1的更新。更郁闷的是写个算法,结果跑了8个小时根本无法支撑整个每天产生的GB级别的数据计算量。还有更可怕的是,公司产品分为好几个版本,且放在不同的生产库内,早期的开发很多都离职了且经常是标注不明确,导致大量的脏数据。(还好...原创 2019-04-22 18:03:22 · 6071 阅读 · 0 评论 -
商业智能-大数据-后端工作-DATAWORKS(2) 数据集成的步骤和操作/MYSQL 数据离线集成到dataworks(1)
背景:dataworks提供数据离线批量数据同步。在次离线(批量)的数据通道主要通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(称之为 Reader)、数据写入插件(称之为 Writer),并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输的目的。数据集成的基本步骤如下:步骤一:点击左上角的LOGO,选择 ‘数据集成’...原创 2019-04-24 18:11:49 · 6819 阅读 · 1 评论 -
数据可视化 数据可视化看板项目一:(2)搭建组件套- (1)基础说明
对于一个完整的可视化看板而言,它是有一系列完整的组建套构成,组件又由一系列的组件和数据构成。阿里云DATAV的组件基础介绍对于上面这块看板而言,它实际上有大致9块组件套组成,超过40个组件构成。项目SOP的问题:SOP是一种标准的作业程序。所谓标准,在这里有最优化的概念,即不是随便写出来的操作程序都可以称作SOP,而一定是经过不断实践总结出来的在当前条件下可...原创 2019-05-06 17:16:07 · 14703 阅读 · 0 评论