- 博客(5)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Hadoop第0部分：分布式存储计算平台及Hadoop入门
一、课程目标分布式设计思想【了解】大数据业务架构及技术生态【了解】Hadoop的起源发展及功能【掌握】HDFS的设计思想及架构【掌握】MR及YARN的设计思想【了解】二、分布式设计思想1、分布式本质集群：资源整合的问题单台机器：CPU、内存、网络、硬盘有限，限制了性能集群：将多台机器的资源进行整合整体分布式服务：将硬件集群变成一个整体本质：将任...
2020-01-16 19:42:55
337
原创 Hadoop第二部分：MapReudce(三)
MapReudce(三)MR的Shuffle详解及Join实现一、回顾1、MapReduce的历史监控服务：JobHistoryServer功能：用于监控所有在YARN上运行过的MapReduce程序的信息配置YARN的日志聚集：存储在hdfs上启动：web:198882、自定义数据类型：在Hadoop中封装JavaBean封装需要实现序列化实现接口Writabl...
2020-01-14 18:12:46
223
1
原创 Hadoop第二部分：MapReudce(二)
MapReudce(二)Hadoop04：MR编程规则及原理深入一、回顾1、MapReduce运行的两个阶段Map：由MapTask进程完成Input+Map+Map端的shuffleReduce：由ReduceTask进程完成Reduce端的shuffle+Reduce+Output逻辑的五个阶段InputInputFormat1-将所有给定的数...
2020-01-14 17:58:25
258
原创 Hadoop第二部分：MapReudce(一)
MapReudce(施工中。。)MapReudce编程模型1、MapReduce设计思想最初作为一个分布式计算框架，负责实现分布式的计算主：JobTracker从：TaskTracker资源管理和任务调度启动所有进程，以及运行所有的Task进程Hadoop2：引进了YARN：负责资源管理和任务调度MapReduce：整个计算模型的开发思想：分而治之将一个大的计...
2020-01-11 10:43:09
284
1
原创 Hadoop第一部分：HDFS的构架和使用
1.主从架构主从架构Namenode接受客户端请求管理：从节点、数据维护内存中的元数据DataNode真正的读写操作，与文件系统2、读写流程写的流程用户操作客户端提交写文件请求给Namenode，NameNode接受写请求hdfs dfs -put /export/datas/wordcount.txt /wordcount/input检测源和目标是...
2020-01-08 19:47:29
974
网狐荣耀代码下载,仅供学习参考
2020-01-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人