大数据
时之钟
这个作者很懒,什么都没留下…
展开
-
MapReduce
MapReduceMapReduce概念2004年,Google发表一篇MapReduce论文,向全世界介绍了MapReduce,MapReduce主要应用于日志分析,海量数据的排序等应用场景。Doug cutting根据谷歌的论文MapReduce编写一个框架并将源代码贡献出来。MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决离线海量数据的计算问题,不能实现对实时数据的分析和处理。MapReduce由两个阶段组成:map():任务分解,reduce():结果汇总原创 2020-12-21 21:49:54 · 499 阅读 · 0 评论 -
hdfs体系架构及分析
hdfs体系架构及分析HDFS简介Hadoop Distributed File System(简称HDFS)是Hadoop分布式文件系统。以流式数据访问模式来存储超大文件,运行与硬件的集群之中。HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。对外部客户机而言,HDFS就像一个传统的分级文件系统。可原创 2020-12-21 21:35:10 · 641 阅读 · 0 评论