浮白

一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标，一个存储在上面的典型文件大小一般都在千兆至T字节，一个单一HDFS实例应该能支撑数以千万计的文件。4、 H

分布式文件系统设计主要关注几个方面：设计特点、分布式能力、性能、容灾、维护和扩展、成本 分布式文件系统主要关键技术：全局名字空间、缓存一致性、安全性、可用性、可扩展性 其他关键技术：文件系统的快照和备份技术、热点文件处理技术、元数据集群的负载平衡技术、分布式文件系统的日志技术  一、GFS（google file system）GFS与过去的分布式文件系

[文章作者：张宴 本文版本：v1.0 最后修改：2009.01.21 转载请注明原文链接：http://blog.s135.com/post/394/]　　key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。如果辅以Real-Time Search Engine（实时搜索引擎）进行复杂条件检索、全文检索，就可以替代并发性

首先确保hadoop已经正确安装、配置以及运行。拷贝WordCount.java到我们的文件夹，下载的hadoop里带有WordCount.java，路径为：hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples/WordCount.java进行拷贝操作[plain] view plai

原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamp

一、关系运算： 41. 等值比较: = 42. 不等值比较: 43. 小于比较: 44. 小于等于比较: 45. 大于比较: > 56. 大于等于比较: >= 57. 空值判断: IS NULL 58. 非空判断: IS NOT NULL 69. LIKE比较: LIKE 610. JAVA的LIKE操作: RLIKE 611. REGEXP操作:

在hive中，外表是个很重要的组成部分，通过外表可以很方便进行数据的共享。因为普通的表会将数据文件拷贝自己的目录下，这样想要分享数据只能保存多份数据。但是外表很好的解决了这个问题。CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\

当我们定义一个Counter时，我们首先要定义一枚举类型：[html] view plaincopyprint?public static enum MY_COUNTER{    CORRUPTED_DATA_COUNTER,    NORMAL_DATA_COUNTER  };    然后，我们就可以在mapper或