Hadoop
Name_Larry
这个作者很懒,什么都没留下…
展开
-
Hadoop - 基本概念
Hadoop背景在硬盘容量不断提升的同时,硬盘的读取速度却没有跟得上。1TB的硬盘,按照100MB/s的读取速度,需要2.5个小时才能读完。能想到的一个简单的方法:将数据分布在多个硬盘中,并行读取,那么读完所有数据的时间将大大缩短。Hadoop为我们提供了一个可靠的共享存储和分析系统。其中,HDFS实现数据的存储,MapReduce实现了数据的分析和处理。元数据原创 2016-04-05 14:01:06 · 312 阅读 · 0 评论 -
Hadoop - HDFS
HDFSHDFS:Hadoop Distributed File System , Hadoop分布式文件系统(HDFS)HDFS的优点适合大数据处理可处理TB甚至GB级数据量10K+节点数高容错性容错是指在故障存在的情况下计算机系统不失效,仍然能够正常工作的特性。容错即是Fault Tolerance,确切地说是容故障(Fault),而并非容错误(Erro原创 2016-04-05 16:51:52 · 314 阅读 · 0 评论