hadoop/mapreduce
文章平均质量分 92
turkeyzhou
某互联网公司,从事服务器后台开发。
展开
-
Hadoop分布式文件系统:架构和设计要点
一、前提和设计目标1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理;比之关注数据访问的低延迟问题,更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标,一个存储在上面的典型文件大小一般都在千兆至T字节,一个单一HDFS实例应该能支撑数以千万计的文件。4、 H转载 2010-07-13 12:10:00 · 725 阅读 · 1 评论 -
分布式文件系统设计主要关注几个方面
分布式文件系统设计主要关注几个方面:设计特点、分布式能力、性能、容灾、维护和扩展、成本 分布式文件系统主要关键技术:全局名字空间、缓存一致性、安全性、可用性、可扩展性 其他关键技术:文件系统的快照和备份技术、热点文件处理技术、元数据集群的负载平衡技术、分布式文件系统的日志技术 一、GFS(google file system)GFS与过去的分布式文件系转载 2012-04-16 14:43:56 · 8066 阅读 · 0 评论 -
百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统
[文章作者:张宴 本文版本:v1.0 最后修改:2009.01.21 转载请注明原文链接:http://blog.s135.com/post/394/] key-value分布式存储系统查询速度快、存放数据量大、支持高并发,非常适合通过主键进行查询,但不能进行复杂的条件查询。如果辅以Real-Time Search Engine(实时搜索引擎)进行复杂条件检索、全文检索,就可以替代并发性转载 2012-04-16 14:48:31 · 2485 阅读 · 0 评论 -
Hadoop示例程序手动编译
首先确保hadoop已经正确安装、配置以及运行。拷贝WordCount.java到我们的文件夹,下载的hadoop里带有WordCount.java,路径为:hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples/WordCount.java进行拷贝操作[plain] view plai原创 2012-10-28 18:36:30 · 3545 阅读 · 1 评论 -
Zookeeper全解析——Paxos作为灵魂
原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZK Server所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Paxos,它是一个基于消息传递的一致性算法,Leslie Lamp转载 2012-10-23 00:45:15 · 1918 阅读 · 0 评论 -
HIVE函数表
一、关系运算: 41. 等值比较: = 42. 不等值比较: 43. 小于比较: 44. 小于等于比较: 45. 大于比较: > 56. 大于等于比较: >= 57. 空值判断: IS NULL 58. 非空判断: IS NOT NULL 69. LIKE比较: LIKE 610. JAVA的LIKE操作: RLIKE 611. REGEXP操作:原创 2012-11-06 15:18:05 · 16139 阅读 · 0 评论 -
hadoop外表数据文件路径查询
在hive中,外表是个很重要的组成部分,通过外表可以很方便进行数据的共享。因为普通的表会将数据文件拷贝自己的目录下,这样想要分享数据只能保存多份数据。但是外表很好的解决了这个问题。CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\原创 2012-10-29 00:29:49 · 4255 阅读 · 0 评论 -
MapReduce中的counter
当我们定义一个Counter时,我们首先要定义一枚举类型:[html] view plaincopyprint?public static enum MY_COUNTER{ CORRUPTED_DATA_COUNTER, NORMAL_DATA_COUNTER }; 然后,我们就可以在mapper或原创 2012-12-20 15:50:32 · 9594 阅读 · 1 评论