关注
分享
evan心诺在
本博客供大家交流，欢迎各抒己见。博文中的内容禁止用 于任何商业目的。如需转载博文，请尊重版权，注明本博客网址。 收起
展开
-
商业智能-大数据-后端工作-DATAWORKS（1）-基础介绍
背景：2018年5月份，刚来公司的时候要求写一份大型的数据报告，大概200多页。那时候公司的BI数据仓库还没搭建完善，而且数据ETL仍然使用的是KETTLE工具，只能支撑T+1的更新。更郁闷的是写个算法，结果跑了8个小时根本无法支撑整个每天产生的GB级别的数据计算量。还有更可怕的是，公司产品分为好几个版本，且放在不同的生产库内，早期的开发很多都离职了且经常是标注不明确，导致大量的脏数据。（还好...原创 2019-04-22 18:03:22 · 6032 阅读 · 0 评论 -
商业智能-大数据-后端工作-DATAWORKS(2) 数据集成的步骤和操作/MYSQL 数据离线集成到dataworks(1)
背景：dataworks提供数据离线批量数据同步。在次离线（批量）的数据通道主要通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（称之为 Reader）、数据写入插件（称之为 Writer），并基于此框架设计一套简化版的中间数据传输格式，从而达到任意结构化、半结构化数据源之间数据传输的目的。数据集成的基本步骤如下：步骤一：点击左上角的LOGO，选择 ‘数据集成’...原创 2019-04-24 18:11:49 · 6792 阅读 · 1 评论 -
数据可视化 数据可视化看板项目一：（2）搭建组件套- （1）基础说明
对于一个完整的可视化看板而言，它是有一系列完整的组建套构成，组件又由一系列的组件和数据构成。阿里云DATAV的组件基础介绍对于上面这块看板而言，它实际上有大致9块组件套组成，超过40个组件构成。项目SOP的问题：SOP是一种标准的作业程序。所谓标准，在这里有最优化的概念，即不是随便写出来的操作程序都可以称作SOP，而一定是经过不断实践总结出来的在当前条件下可...原创 2019-05-06 17:16:07 · 14643 阅读 · 0 评论