hadoop
tricerice
这个作者很懒,什么都没留下…
展开
-
Hadoop运行原理详解
我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理. 1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/- 0067011990999991950051507+0000+转载 2015-07-05 20:53:52 · 305 阅读 · 0 评论 -
【Hadoop】HDFS的运行原理
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③ 适合大转载 2015-07-05 21:01:04 · 291 阅读 · 0 评论