![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据架构
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
什么是数据仓库
什么是数据仓库?数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。这个定义的确官方,但是却指出了数据仓库的四个特点。特点面向主题:数据仓库都是基于某个明确主题,仅需要与该主题相关的数据,其他的无关细节数据将被排除掉 集成的:从不同的数据源采集数据到同一个数据源,此过程会有一些ETL操作 随时间变化:关键数据隐式或显式的基于时间变化 信息本身相对...原创 2018-07-12 22:27:22 · 6705 阅读 · 0 评论 -
大数据平台任务调度与监控系统
目前各业务的数据任务基本都是靠Crontab定时调度,各个任务之间的依赖仅靠简单的串行来实现。这样做的问题:很容易造成前面的任务未结束或者失败,后面的任务也运行起来,最终跑出错误的分析结果;任务不能并发执行,增加任务执行的整体时间窗口;任务管理和维护很不方便,不好统计任务的执行时间及运行日志;缺乏及时有效的告警;SkyNet调度监控系统,正是为了解决以上问题。系统架构名词解释SkyNet任务调度监...原创 2018-07-12 23:13:06 · 15049 阅读 · 17 评论