转自:http://www.cnblogs.com/QuLory/archive/2013/05/22/3093975.html
1、Hadoop相关网站
1.1 官方网站
Hadoop套件: http://hadoop.apache.org/
Hive工具:http://hive.apache.org/
1.2 国内的镜像下载服务器
http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.2/
http://mirror.bjtu.edu.cn/apache/hive/
1.3 学习文档
http://hadoop.apache.org/docs/r1.1.2/index.html
2 下载和安装
2.1 源码下载和编译
参考手册中的编译方法;
2.2 现成软件包下载安装
我使用的Ubuntu直接下载了deb包进行安装,安装后路径为:
入口可执行文件路径: /usr/bin/hadoop
初始化脚本路径: /usr/libexec/hadoop-config.sh
配置文件路径: /etc/hadoop 目录下, 如hadoop-env.sh 等脚本和配置文件
开机启动相关脚本路径: /etc/init.d/hadoop-*
3 运行测试和排错
3.1 命令测试
hadoop 显示了命令帮助
hadoop version 却遭遇错误
$hadoop version /usr/bin/hadoop: line 320: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory /usr/bin/hadoop: line 390: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory
3.2 排错和设置java
上面的错误的确时没有那个目录,只有/usr/lib/jvm/java-6-openjdk-i386/ 对于路径,故有两种解决办法;
方法一,做软链接。构建该sun java目录:
$sudo ln -s /usr/lib/jvm/java-6-openjdk-i386 /usr/lib/jvm/java-6-sun
方法二,修改配置脚本,设置正确的JAVA_HOME
$sudo vi /etc/hadoop/hadoop-env.sh 打开文件后修改如下的行(第9行),设置JAVA_HOME # The java implementation to use. export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386 export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}
再次测试正常:
$hadoop version Hadoop 1.1.2 Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782 Compiled by hortonfo on Thu Jan 31 02:01:30 UTC 2013 From source with checksum c720ddcf4b926991de7467d253a79b8b
4 开始设置测试节点
直接参考官方文档,如有错误等疑问和经验再总结 :)
作者:逸云沙鸥
出处:http://www.cnblogs.com/QuLory/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。