Hadoop
文章平均质量分 90
大数据之负
搬好每一块砖
展开
-
Hadoop目录
阅读导航原创 2022-11-23 16:37:49 · 396 阅读 · 0 评论 -
大数据—Hadoop(二十三)_ 生产调优手册_06、HDFS_企业开发场景案例(参数调优汇总)
相互指正,相互学习原创 2022-11-23 14:38:32 · 130 阅读 · 0 评论 -
大数据—Hadoop(二十二)_ 生产调优手册_05、MapReduce
相互指正,相互学习原创 2022-11-20 14:45:20 · 987 阅读 · 0 评论 -
大数据—Hadoop(二十一)_ 生产调优手册_04、HDFS(4)_故障排除
相互指正,相互学习原创 2022-11-16 10:39:50 · 555 阅读 · 0 评论 -
大数据—Hadoop(二十)_ 生产调优手册_03、HDFS(3)_集群扩容及缩容
相互指正,相互学习原创 2022-11-13 23:06:42 · 363 阅读 · 0 评论 -
大数据—Hadoop(十九)_ 生产调优手册_02、HDFS(2)_集群压测、多目录
相互指正,相互学习原创 2022-11-09 11:42:14 · 328 阅读 · 0 评论 -
大数据—Hadoop(十八)_ 生产调优手册_01、HDFS(1)_核心参数
相互指正,相互学习原创 2022-11-07 17:32:17 · 610 阅读 · 0 评论 -
大数据—Hadoop(十七)_ Yarn_03、实操配置
Yarn资源管理协调软件,解耦了计算本身和计算管理两件事情,让后续出现的Tez、Spark、Flink等框架都能通过Yarn来管理资源,只处理自身擅长的数据计算工作原创 2022-11-06 09:00:00 · 686 阅读 · 0 评论 -
大数据—Hadoop(十六)_ Yarn_02、命令行操作和核心参数配置
Yarn资源管理协调软件,解耦了计算本身和计算管理两件事情,让后续出现的Tez、Spark、Flink等框架都能通过Yarn来管理资源,只处理自身擅长的数据计算工作原创 2022-11-03 09:00:00 · 2107 阅读 · 0 评论 -
大数据—Hadoop(十五)_ Yarn_01、概念
Yarn资源管理协调软件,解耦了计算本身和计算管理两件事情,让后续出现的Tez、Spark、Flink等框架都能通过Yarn来管理资源,只处理自身擅长的数据计算工作原创 2022-10-31 08:30:00 · 279 阅读 · 0 评论 -
大数据—Hadoop(十四)_ MapReduce_07、压缩
MapReduce将数据的计算,简单分成Map和Reduce两个阶段。Map阶段,将原本很大的数据集拆分成多个小份,在不同服务器上各个击破。Reduce阶段,则将原本小份的数据结果汇总,进一步计算,得到最终结果。原创 2022-10-25 16:07:53 · 185 阅读 · 0 评论 -
大数据—Hadoop(十三)_ MapReduce_06、核心框架原理_源码(3)_MapTask & ReduceTask
MapReduce将数据的计算,简单分成Map和Reduce两个阶段。Map阶段,将原本很大的数据集拆分成多个小份,在不同服务器上各个击破。Reduce阶段,则将原本小份的数据结果汇总,进一步计算,得到最终结果。原创 2022-10-24 16:57:51 · 634 阅读 · 0 评论 -
大数据—Hadoop(十二)_ MapReduce_05、核心框架原理_源码(2)_切片机制
MapReduce将数据的计算,简单分成Map和Reduce两个阶段。Map阶段,将原本很大的数据集拆分成多个小份,在不同服务器上各个击破。Reduce阶段,则将原本小份的数据结果汇总,进一步计算,得到最终结果。原创 2022-10-23 15:05:41 · 320 阅读 · 0 评论 -
大数据—Hadoop(十一)_ MapReduce_04、核心框架原理_源码(1)_ Job提交流程
MapReduce将数据的计算,简单分成Map和Reduce两个阶段。Map阶段,将原本很大的数据集拆分成多个小份,在不同服务器上各个击破。Reduce阶段,则将原本小份的数据结果汇总,进一步计算,得到最终结果。原创 2022-10-22 10:28:07 · 317 阅读 · 0 评论 -
大数据—Hadoop(十)_ MapReduce_03、核心框架原理
MapReduce将数据的计算,简单分成Map和Reduce两个阶段。Map阶段,将原本很大的数据集拆分成多个小份,在不同服务器上各个击破。Reduce阶段,则将原本小份的数据结果汇总,进一步计算,得到最终结果。原创 2022-10-21 09:00:00 · 815 阅读 · 0 评论 -
大数据—Hadoop(九)_ MapReduce_02、序列化
MapReduce将数据的计算,简单分成Map和Reduce两个阶段。Map阶段,将原本很大的数据集拆分成多个小份,在不同服务器上各个击破。Reduce阶段,则将原本小份的数据结果汇总,进一步计算,得到最终结果。原创 2022-10-18 08:41:21 · 338 阅读 · 0 评论 -
大数据—Hadoop(八)_ MapReduce_01、概述
MapReduce将数据的计算,简单分成Map和Reduce两个阶段。Map阶段,将原本很大的数据集拆分成多个小份,在不同服务器上各个击破。Reduce阶段,则将原本小份的数据结果汇总,进一步计算,得到最终结果。原创 2022-10-14 12:43:50 · 481 阅读 · 0 评论 -
大数据—Hadoop(七)_ HDFS_06、Datanode
HDFS分布式文件管理系统原创 2022-10-13 10:36:04 · 305 阅读 · 0 评论 -
大数据—Hadoop(六)_ HDFS_05、NameNode 和 Secondary NameNode
HDFS分布式文件管理系统原创 2022-10-12 08:47:56 · 251 阅读 · 0 评论 -
大数据—Hadoop(五)_ HDFS_04、HDFS的读写流程
HDFS分布式文件管理系统原创 2022-10-11 08:57:47 · 150 阅读 · 0 评论 -
大数据—Hadoop(四)_ HDFS_03、客户端API
HDFS分布式文件管理系统原创 2022-10-10 16:28:17 · 691 阅读 · 0 评论 -
大数据—Hadoop(三)_ HDFS_02、Shell相关操作
HDFS分布式文件管理系统原创 2022-10-09 21:28:56 · 116 阅读 · 0 评论 -
大数据—Hadoop(二)_ HDFS_01、概述
HDFS分布式文件管理系统原创 2022-10-05 18:48:29 · 211 阅读 · 0 评论 -
大数据—Hadoop(一)_ Hadoop入门概念
相互指正,相互学习原创 2022-10-02 22:26:22 · 303 阅读 · 0 评论