Ubuntu配置hadoop单机+伪分布式环境+eclipse-- 配置hadoop单机环境(二)

Ubuntu配置hadoop单机环境


Ubuntu在安装完hadoop之后,配置hadoop伪分布式环境只需修改配置文件即可。

快速入口链接:
Ubuntu安装hadoop准备工作
Ubuntu配置hadoop伪分布式环境
Ubuntu配置hadoop+eclipse

1)修改配置文件

为便于运行,可配置hadoop的环境变量,这样可在命令行直接运行hadoop命令,打开文件
$sudo gedit ~/.bashrc
添加语句

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin

hadoop的配置文件位于“HADOOP_HOME/etc/hadoop”中。
需要配置的文件为“core-site.xml”和“hdfs-site.xml”。
进入“HADOOP_HOME”目录,打开文件“core-site.xml”,
$gedit /etc/hadoop/core-site.xml
将文件修改为

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

打开文件“hdfs-site.xml”,
$gedit /etc/hadoop/hdfs-site.xml
将文件修改为

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

配置完成后格式化namenode,
$hdfs namenode -format
下图所示format成功且退出状态为0。
格式化namenode
接下来启动hadoop,
$start-dfs.sh
出现错误,如下图所示
hadoop启动错误
需修改配置文件“HADOOP_HOME/etc/hadoop/hadoop-env.sh”,
将语句

export JAVA_HOME=$JAVA_HOME

修改为语句

export JAVA_HOME=/usr/local/java

再次启动hadoop,
$start-dfs.sh
输入“yes”
启动hadoop
输入
$jps
查看活动结点
jps查看活动结点

在浏览器输入“http://localhost:50070”可以查看namenode和datanode的信息,
查看结点信息


下一篇介绍伪分布式环境的配置。
Ubuntu配置hadoop单机+伪分布式环境+eclipse(三)

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值