laiahu的专栏

HDFS的JAVA接口API操作实例

来源： http://www.spnguru.com/2010/08/zookeeper%E5%85%A8%E8%A7%A3%E6%9E%90%E2%80%94%E2%80%94paxos%E7%9A%84%E7%81%B5%E9%AD%82/Zookeeper全解析——Paxos作为灵魂原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Se

来源： https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation+GuideAbout this GuideThis CDH3 Installation Guide is for Apache Hadoop developers and system administrators interested in

来源： https://ccp.cloudera.com/display/CDHDOC/HBase+InstallationContentsUpgrading HBase to the Latest CDH3 ReleaseStep 1: Perform a Graceful Cluster ShutdownStep 2. Stop the Zo

来源： http://blog.csdn.net/yuxinlong2006/article/details/6765327alternatives是Linux下的一个功能强大的命令。只能在root权限下执行。如系统中有几个命令功能十分类似，却又不能随意删除，那么可以用 alternatives 来指定一个全局的设置。alternatives常用于同一个系统中安装同一软件的多个

来源：https://ccp.cloudera.com/display/CDHDOC/ZooKeeper+Installation#ZooKeeperInstallation-InstallingtheZooKeeperServerPackageContentsUpgrading ZooKeeper to the Latest CDH3 ReleaseP

来源：http://www.yankay.com/wp-content/hbase/book.html HBase 官方文档Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译)Revision HistoryRevision 0.90.4 配置，数

来源： http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源

文章转自： http://www.heyues.com/mc_bloom_filter/google code 上的介绍IntroductionBloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员，被广泛使用于各种海量数据排

文章转自： http://blog.csdn.net/liuben/article/details/6602683Bloom Filter是1970年由Bloom提出的，最初广泛用于拼写检查和数据库系统中。近年来，随着计算机和互联网技术的发展，数据集的不断扩张使得 Bloom filter获得了新生，各种新的应用和变种不断涌现。Bloom filter是一个空间效率很高的数据结

海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。有任何问题，欢迎随时交流、指正。出处：http://blog.csdn.net/v_JULY_v。---------------------------------------

来源：http://www.ashishpaliwal.com/blog/2012/04/using-hadoop-distributed-cache/Hadoop has a distributed cache mechanism to make available file locally that may be needed by Map/Reduce jobs. Thi

基于Eclipse的Hadoop应用开发环境的配置

文章来源： http://blog.csdn.net/wh62592855/article/details/6448722 hive默认的函数并不是太完整，以后我们使用的使用肯定需要自己补充一些。下面这个例子是个简单的测试，关于自定义函数的。函数代码p

来源：http://blog.csdn.net/needle2/article/details/6436343http://www.cloudera.com/blog/2009/02/the-small-files-problem/http://hi.chinaunix.net/?uid-9976001-action-viewspace-itemid-32134

来源：http://share.blog.51cto.com/278008/663555https://github.com/kevinweil/hadoop-lzohttp://huntlife.blog.sohu.com/165889911.htmlHadoop集群中启用了lzo后，还需要一些配置，才能使集群能够对单个的lzo文件进行并行的map操作

来源：http://hi.baidu.com/dtzw/blog/item/64a6f3f2dff0511eb17ec5b0.html搞清楚 hadoop jar xxxx.jar 执行的流程： jar文件是如何分发的JobClient(不一定是hadoop集群的节点)利用bin/hadoop脚本运行jar包，以hadoop-0.20.2-examples.jar为例子：hadoo

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0com.chinacache.logstatHadoopLogStat

1.一种方式: 把lib依赖包、及配置文件都打进jar包，可以直接运行独立的程序jar，它会自动找到classpath.2.另一种方式： Hadoop独立的应用程序 的配置文件可以放在/home/dbrg/soft/hadoop-0.20.2/conf/下，这样就也可以找到classpath了

来源：http://blog.sina.com.cn/s/blog_5fbdba500100cy6d.html概述所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。用法：hadoop [--configconfdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hado

来源：http://blog.csdn.net/wf1982/article/details/6720043Clouder CDH3B3开始后hadoop.job.ugi不再生效！困扰了我好几天的，终于找到了原因。以前公司用的原版hadoop-0.20.2,使用java设置 hadoop.job.ugi为正确的hadoop用户和组即可正常访问hdfs并可创建删除等。

学习地址：(重要)http://os.51cto.com/art/201104/256669.htm(重要)http://heipark.iteye.com/blog/1172759http://blog.chinaunix.net/space.php?uid=1838361&do=blog&id=2982485ant下载：http://mirror.bjtu.edu.

来源：https://ccp.cloudera.com/display/CDHDOC/CDH3+Installationdownload:https://ccp.cloudera.com/display/SUPPORT/CDH+Downloads#CDHDownloads-CDH4PackagesandDownloadshttps://ccp.cloudera.com/di

来源：http://roserouge.iteye.com/blog/746391hadoop 0.20.2 api里面，作业被重新定义到了类 org.apache.hadoop.mapreduce.Job。它有3个特别的方法：job.setPartitionerClass(Partitioner p);job.setSortComparatorClass(Ra