hadoop
文章平均质量分 75
Going_sky
让代码照进你的梦想.
展开
-
Hadoop(HDFS)
HDFS: 1.定义: Hadoop分布式文件系统(HDFS)被设计成设计成适合运行在通用 硬件上的分布式文件系统;是根据谷歌发表的三篇论文之一:GFS(Google File System)文件系统 2.特点: 容错性保存多个副本,副本丢失或跌宕自动恢复,默认block3份 并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访...原创 2017-12-06 11:25:10 · 234 阅读 · 0 评论 -
Hadoop HA
一. 为什么需要 HA 和 Federation 1.1单点故障 在 Hadoop 2.0 之前,也有若干技术试图解决单点故障的问题,我们在这里做个简短的总结 Secondary NameNode: 它不是HA,它是阶段性合并edits和fsimage,以缩短集群启动的时间.当NameNode(以下简称NN)失效时,Secondary并无法立刻提供服务,Secondary NN甚至无法保证原创 2018-01-25 17:30:06 · 322 阅读 · 0 评论 -
Hive
Apache Hive简介: 维基百科介绍: Apache Hive是一个建立在Hadoop架构之上的数据仓库.它能够提供数据的精炼,查询和分析,Apache Hive起初由Facebook开发,目前也有其他公司使用和开发Apache Hive,例如Netflix等。亚马逊公司也开发了一个定制版本的Apache Hive,亚马逊网络服务包中的Amazon Elastic MapReduce包含...原创 2018-02-27 17:19:00 · 226 阅读 · 0 评论