keke_Xin的专栏

Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算. 数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop...

转自：http://www.blogjava.net/hello-yun/archive/2012/10/10/389289.html   MurmurHash算法：高运算性能，低碰撞率，由Austin Appleby创建于2008年，现已应用到Hadoop、libstdc++、nginx、libmemcached等开源系统。2011年Appleby被Google雇佣，随后Google推出其...

说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。   其实Hadoop本身是带有监控接口的，各公司的发...

转自：http://blog.csdn.net/hitwengqi/article/details/8008203 首先要了解一下Hadoop的运行模式： 单机模式（standalone）       单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Had...

转自：http://blog.csdn.net/zhaoyl03/article/details/8657104   Hadoop在处理海量数据分析方面具有独天优势。今天花时间在自己的Linux上搭建了伪分布模式，期间经历很多曲折，现在将经验总结如下。 首先，了解Hadoop的三种安装模式： 1. 单机模式. 单机模式是Hadoop的默认模。当配置文件为空时，Hadoop完全运行在本地。...

伪分布式 blog.csdn.net/stark_summer/article/details/43484545(搭建Hadoop2.6是参考此文档的) doc.okbase.net/baolibin528/archive/124744.html www.powerxing.com/install-hadoop/   集群 blog.csdn.net/stark_summer/ar...

Failed to set setXIncludeAware(true) for parser 遇到此问题一 般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向 系统添加的jar包，重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便，但是这不是一种好习惯，我们应该通过修改...

eclipse搭建： www.linuxidc.com/Linux/2015-01/112369.htm   www.cnblogs.com/kinglau/p/3802705.html   http://blog.sina.com.cn/s/blog_60cc33d70100zpjr.html   实例： www.cnblogs.com/xia520pi/archive/20...