HADOOP
bboonnee
这个作者很懒,什么都没留下…
展开
-
Apache Zookeeper入门1
本文转载之:http://www.javabloger.com/article/apache-zookeeper-hadoop.html文章介绍的不错,非常通俗易懂!ZooKeeper 是什么? ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop)、蜜蜂(Hive)、小猪(Pig) 的管理员, Apache Hbase和 Apache Solr转载 2012-02-22 10:53:51 · 3768 阅读 · 0 评论 -
mapreduce的二次排序 SecondarySort
http://www.cnblogs.com/xuxm2007/archive/2011/09/03/2165805.html关于二次排序主要涉及到这么几个东西:在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparat转载 2012-03-05 15:18:34 · 1369 阅读 · 0 评论 -
排序--MapReduce
博客分类: 算法MapreduceHadoop框架CC++1、1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1TB排序基准评估第一名,排序1TB数据耗时209秒。后来,1T转载 2012-03-05 15:15:29 · 5697 阅读 · 0 评论 -
hadoop FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目转载 2012-03-05 15:32:02 · 9033 阅读 · 0 评论