2016年06月_reb12345reb

06月 01月

原创 Hadoop组件之-HIVE(位图索引)

索引概述什么是索引？索引是Oracle数据库中提供的一种可选的数据结构，用于关联一个表。为什么要使用索引？索引在有些情况下可以加快访问速度，减少磁盘IO。通常情况下时候使用索引？表中的某列经常会在查询中使用，并且经常用返回占表中数据总量比例较少的row set。引用完整性约束列。unique key 。...

2016-06-24 15:43:54 1263

原创 Hadoop组件之-HDFS(HA实现细节)

Hadoop NameNode 高可用 (High Availability) 实现解析在 Hadoop 的整个生态系统中，HDFS NameNode 处于核心地位，NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机制进行详细的分析，主要包括 NameNode 的主备切换实现分析和 NameN...

2016-06-23 10:10:04 983

原创 Hadoop组件之-HDFS(FederationAndHA)

一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability...

2016-06-23 10:06:37 206