- 博客(2)
- 收藏
- 关注
RSS订阅原创 MapReduce
MapReduceMapReduce概念2004年，Google发表一篇MapReduce论文，向全世界介绍了MapReduce，MapReduce主要应用于日志分析，海量数据的排序等应用场景。Doug cutting根据谷歌的论文MapReduce编写一个框架并将源代码贡献出来。MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决离线海量数据的计算问题，不能实现对实时数据的分析和处理。MapReduce由两个阶段组成：map()：任务分解，reduce()：结果汇总
2020-12-21 21:49:54
499
原创 hdfs体系架构及分析
hdfs体系架构及分析HDFS简介Hadoop Distributed File System(简称HDFS)是Hadoop分布式文件系统。以流式数据访问模式来存储超大文件，运行与硬件的集群之中。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。对外部客户机而言，HDFS就像一个传统的分级文件系统。可
2020-12-21 21:35:10
641
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人