hadoop本地模式配置

我使用的是VMware虚拟机,ubuntu14.04LTS,64位,已经安装java,如果不知道如何配置网上有很多教程,不再赘述,我安装的是1.6.0_30版本。建议不要安装太高版本,我原来安装了1.8版本的,尝试配置hadoop-2.6,死活都不成功,最后改成1.7版本的才配置成功。

此处再温馨提示一下,很多人使用命令:wget  http://www.us.apache....... 去下载压缩包,但是总是下载失败,原因是时间隔太久下载地址变了。在我写这篇博文的时候可以通过以下地址下载到2.6版本的。

命令:wget http://apache.fayea.com/hadoop/common/current/hadoop-2.6.0.tar.gz

1.下载hadoop-0.20.2版本。由于目前最新的是2.6版本,使用wget命令下载0.20.2不易下到,所以直接百度下载了0.20.2版本。百度云盘:http://pan.baidu.com/s/1sjJR3AX

2.解压。下载成功以后,将压缩包移动到:/usr/local 目录,在/usr/local目录下使用tar -xzf hadoop-0.20.2.tar.gz 解压。

3.添加环境变量。继续执行命令:

sudo echo "export HADOOP_HOME=$PWD/hadoop-0.20.2" > /etc/profile.d/hadoop.sh

sudo echo "PATH=$PATH:$HADOOP_HOME/bin" >> /etc/profile.d/hadoop.sh

. /etc/profile

注意:在执行以上命令时会报错,主要是权限问题。在root权限下可以正确执行,但是不方便使用,每次都需输入绝对路径。一通尝试以后成功了!解决办法如下:

4.测试。命令:hadoop dfs -ls /

配置成功!!!

总结:有时候直接使用hadoop命令会找不到命令,可以进入hadoop文件夹,不进入bin文件夹,使用bin/hadoop命令。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop的伪分布式配置是一种在本地机器上模拟分布式环境的方式,它允许你在单台机器上运行Hadoop集群。下面是一个简单的步骤指南来配置Hadoop的伪分布式模式: 1. 确保你已经安装好Java和Hadoop,并且环境变量已经正确设置。 2. 在Hadoop配置目录中,找到`core-site.xml`文件,并编辑它。在其中添加以下配置: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 这个配置指定了HDFS的默认文件系统为`hdfs://localhost:9000`,也就是本地机器上的HDFS。 3. 在同一目录中,找到`hdfs-site.xml`文件,并编辑它。添加以下配置: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 这个配置指定了数据块的副本数为1,因为在伪分布式模式下,我们只有一台机器。 4. 在Hadoop的安装目录中,找到`mapred-site.xml.template`文件,将其复制并重命名为`mapred-site.xml`。编辑这个新创建的文件,并添加以下配置: ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 这个配置指定了MapReduce框架为YARN。 5. 最后,在Hadoop的安装目录中,找到`yarn-site.xml.template`文件,将其复制并重命名为`yarn-site.xml`。编辑这个新创建的文件,并添加以下配置: ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 这个配置指定了YARN的辅助服务为`mapreduce_shuffle`。 完成以上步骤后,你可以启动Hadoop并运行MapReduce作业,就像在一个真正的分布式环境中一样。请注意,伪分布式模式只是用于开发和测试,并不适用于生产环境。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值