Hadoop
画夜
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记二_MapReduce应用场景、原理、基本架构
MapReduce应用场景 MapReduce特点:易于变成;良好的扩展性;高容错性;适合PB级以上海量数据的离线处理不适合: 实时计算 像MySQL一样,在毫秒级或者在秒级内返回结果 流式计算 MapReduce的输入数据集是静态的,不能动态变化 MapReduce自身的设计特点决定了数据远必须是静态的 DAG计算 多个应用程序原创 2014-12-16 11:57:11 · 1110 阅读 · 0 评论 -
hadoop学习笔记一_HDFS
HDFS:Hadoop Distributed File System Hadoop分布式文件系统1.易于扩展的分布式文件系统2.运行在大量普通廉价机器上,提供容错机制3.为大量用户提供性能不错的文件存取服务擅长:高容错性 数据自动保存多个副本 副本丢失后,自动恢复适合批处理 移动计算而非数据 数据位置暴露给计算框架适合打数据处理 GB、T原创 2014-12-15 13:48:42 · 433 阅读 · 0 评论