【Hadoop环境配置】Hadoop安装,配置和试用

1、Hadoop相关网站

1.1 官方网站

Hadoop套件: http://hadoop.apache.org/

Hive工具:http://hive.apache.org/

1.2 国内的镜像下载服务器

http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.2/

http://mirror.bjtu.edu.cn/apache/hive/

1.3 学习文档

http://hadoop.apache.org/docs/r1.1.2/index.html

 

2 下载和安装

2.1 源码下载和编译

参考手册中的编译方法;

2.2 现成软件包下载安装

我使用的Ubuntu直接下载了deb包进行安装,安装后路径为:

入口可执行文件路径: /usr/bin/hadoop

初始化脚本路径: /usr/libexec/hadoop-config.sh

配置文件路径: /etc/hadoop 目录下, 如hadoop-env.sh 等脚本和配置文件

开机启动相关脚本路径: /etc/init.d/hadoop-*

 

3 运行测试和排错

3.1 命令测试

hadoop 显示了命令帮助

hadoop version 却遭遇错误

$hadoop version
/usr/bin/hadoop: line 320: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory
/usr/bin/hadoop: line 390: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory

 

3.2 排错和设置java

上面的错误的确时没有那个目录,只有/usr/lib/jvm/java-6-openjdk-i386/ 对于路径,故有两种解决办法;

方法一,做软链接。构建该sun java目录:

$sudo ln -s /usr/lib/jvm/java-6-openjdk-i386 /usr/lib/jvm/java-6-sun

方法二,修改配置脚本,设置正确的JAVA_HOME

$sudo vi /etc/hadoop/hadoop-env.sh

打开文件后修改如下的行(第9行),设置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

再次测试正常:

$hadoop version
Hadoop 1.1.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782
Compiled by hortonfo on Thu Jan 31 02:01:30 UTC 2013
From source with checksum c720ddcf4b926991de7467d253a79b8b

 

4 开始设置测试节点

直接参考官方文档,如有错误等疑问和经验再总结 :)

http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html

转载于:https://www.cnblogs.com/QuLory/archive/2013/05/22/3093975.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值