fp196391196391的专栏

在上一篇文章中，已经提到了配置完成了一个简单的分布式hadoop的hdfs文件系统，下面就需要去运行一下wordcount来了解该文件系统的运行机制。cd到wordcount.java的目录，再此目录下建立一个新的目录：WordCount。然后执行：]$javac  -classpath ~/hadoop-1.0.0/lib/*.java:~/hadoop-1.0.0/hadoop-cor

众所周知，我们需要hadoop来分布式存储我们的数据，提高并发和吞吐量，造就了Mapreduce框架的易用性。那对于整个这个过程来说，最开始需要我们认识到的是文件是如何存储在hadoop系统上的。          Hadoop可以分为三个部分，Client端，namenode端和datanode端。他们之间的协作做成了这个庞大的分布式文件系统。文件从客户端这个接口，进入系统，由客户端和nam

这里主要针对Mapreduce的性能调优。这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred

淘宝-Hadoop内部海量数据平台服务实现  威大师！http://www.infoq.com/cn/presentations/hadoop-internal-data-service-platform

HBase对于数据块有丢失的store做了启动检查的工作，如果通过HDFS发现store所在的block crrupt掉了，或是大小小于0，则该块所对应的Block被自动加入skipstorefile的metrix中。但是如果这个store并未被重新加载过，那么block丢失的信息store并不知道，也就不会被加入到skipstorefile中去，所以这个时候去查询这个store里面的数据，就