![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 73
NewTech精选
专注分享软硬件等相关技术文章。用代码改变生活、改变世界
展开
-
工作中常用SQL片段整理(一)
获取数据集起止时间 select DATE_FORMAT(t.acquisition_time,’%Y%m%d’) from ((SELECT acquisition_time FROM stress_datainfo ORDER BY acquisition_time ASC limit 1) UNION (SELECT acquisition_time FROM stress_datainfo ORDER BY acquisition_time DESC limit 1))t ...原创 2021-08-28 22:28:26 · 117 阅读 · 0 评论 -
hadoop权威指南笔记
hadoop的核心思想是MapReduce,但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。首先看下这张图,就能了解shuffle所处的位置。图中的partitions、copy phase、sort phase所代表的就是shuffle的不同阶段。 shuffle阶段又可以分为Map端的shuffle和Reduce端的shuffle。 一、Map端的shuffle Map端会处理输入数据并产生中间结果,这个中间结果会写到本地原创 2021-07-04 23:41:45 · 242 阅读 · 0 评论