技术研究
文章平均质量分 91
gjggw123
个人邮箱(长期有效): gjggw123@163.com
技术文献: http://gjggw123.blog.163.com/
https://blog.csdn.net/gjggw123
展开
-
Hadoop Job Scheduler 作业调度器
Hadoop Job Scheduler 作业调度器作业的调度器Hadoop Job Scheduler 作业调度器,常见的有三种:默认调度算法FIFO 队列策略计算能力调度算法Capacity Scheduler(Yahoo 开发)(容量调度器)公平份额调度算法Fair Scheduler(Facebook开发)作业的调度 调度器:默认调度算...原创 2020-03-03 15:22:20 · 446 阅读 · 0 评论 -
HTAP系统架构实践总结
HTAP两种数据库系统:一种是事务型的系统,这是数据源头产生的地方;另一种是分析型的系统,是我们的数仓。数据会定期从交易型数据库中借助ETL的方式流入到数仓. 然后在数据仓库做分析处理,产生相应的报表和报告。企业的经营决策者能够通过分析报告和决策报表去观察企业的经营行为,从而观察到未来的发展趋势。这是数据宝贵之处的体现之一。............................................................转载 2022-08-29 16:15:08 · 1182 阅读 · 0 评论 -
8种ETL算法汇总大全!
8种ETL算法汇总大全!摘要:ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中。目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。1 ETL算法概览> 算法应用场景概览以上共计累积了8种ETL算法,其中主要分成4大类,增量累加、拉链算法是更符合数据仓库历史数据追踪的算法,但现实中基于业务及性能考虑,往往转载 2020-08-20 10:35:10 · 876 阅读 · 0 评论 -
一文搞定Mysql日期时间函数(转载)
一文搞定Mysql日期时间函数日期和时间函数部分也是我们日常工作中使用频率比较高的一部分。这一篇我们主要讲讲Mysql里面的日期时间相关的函数,不同数据库之间基本相同,只会有个别函数的差异。大家掌握一个数据库的,其他的遇到不会的,直接查就可以了。1.获取当前时刻时间 1.1返回当前时刻的日期和时间 1.2获取当前时刻的日期 1.3获取当前时刻的时间 1.4获取当前时刻的周数 2.日期时间格式转换 3.日期时间运算 3.1向后偏移时间 3.2向前偏移时间 3.3两日期做差文章较长,建议先.转载 2020-08-11 14:57:19 · 398 阅读 · 0 评论 -
个人理解数据中台与大数据平台区别
个人理解数据中台与大数据平台区别原创 2020-07-27 15:48:32 · 11060 阅读 · 3 评论