大数据测试环境搭建

Hadoop集群搭建:

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 整理的很好

具体到我用的版本(2.4.1):

http://blog.itpub.net/26613085/viewspace-1219710/

遇到的一些问题:

1. JDK版本问题

2. 环境变量配置问题

3. Hadoop配置:core-site.xml, hdfs-site.xml等

4.文件夹权限问题，(非root用户必须具有hadoop相关文件夹及其子文件夹的写权限)

5. datanode启动失败:未停止hadoop服务的情况下重启机器，导致namenode与datanode不一致(解决方法:在HDFS还没有数据的前提下重新格式化namenode)

6. hadoop本地库与系统版本不一致引发的问题:

http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos

http://www.linuxidc.com/Linux/2012-04/59200.htm

以下组件只需在namenode节点下安装即可

安装Flume:

http://www.douban.com/note/354998708/

http://www.aboutyun.com/thread-8917-1-1.html

安装Hive:

http://blog.csdn.net/wulantian/article/details/38111671

http://blog.itpub.net/28929558/viewspace-1371995/

安装oozie:

http://www.linuxidc.com/Linux/2014-12/110456.htm

http://www.tuicool.com/articles/UBrIr2