- 博客(34)
- 收藏
- 关注
RSS订阅
1原创 大数据—Hadoop（十七）_ Yarn_03、实操配置
Yarn资源管理协调软件，解耦了计算本身和计算管理两件事情，让后续出现的Tez、Spark、Flink等框架都能通过Yarn来管理资源，只处理自身擅长的数据计算工作
2022-11-06 09:00:00
688
原创 大数据—Hadoop（十六）_ Yarn_02、命令行操作和核心参数配置
Yarn资源管理协调软件，解耦了计算本身和计算管理两件事情，让后续出现的Tez、Spark、Flink等框架都能通过Yarn来管理资源，只处理自身擅长的数据计算工作
2022-11-03 09:00:00
2132
原创 大数据—Hadoop（十五）_ Yarn_01、概念
Yarn资源管理协调软件，解耦了计算本身和计算管理两件事情，让后续出现的Tez、Spark、Flink等框架都能通过Yarn来管理资源，只处理自身擅长的数据计算工作
2022-10-31 08:30:00
281
原创 大数据—Hadoop（十四）_ MapReduce_07、压缩
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
2022-10-25 16:07:53
191
原创 大数据—Hadoop（十三）_ MapReduce_06、核心框架原理_源码（3）_MapTask & ReduceTask
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
2022-10-24 16:57:51
635
原创 大数据—Hadoop（十二）_ MapReduce_05、核心框架原理_源码（2）_切片机制
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
2022-10-23 15:05:41
322
原创 大数据—Hadoop（十一）_ MapReduce_04、核心框架原理_源码（1）_ Job提交流程
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
2022-10-22 10:28:07
319
原创 大数据—Hadoop（十）_ MapReduce_03、核心框架原理
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
2022-10-21 09:00:00
823
原创 大数据—Hadoop（九）_ MapReduce_02、序列化
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
2022-10-18 08:41:21
339
原创 大数据—Hadoop（八）_ MapReduce_01、概述
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
2022-10-14 12:43:50
483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人