Ubuntu13.04安装Hadoop集群环境

1.配置hosts

通过命令:sudo vim /etc/hosts,按照实际情况配置hosts


2.安装JDK,具体可以参考网上: http://blog.csdn.net/long1657/article/details/9265949
3.安装SSH:具体参考网上资料: http://blog.csdn.net/long1657/article/details/9266037
4.hadoop的安装和配置
<1>.下载并解压Hadoop安装包,选择0.20.2版本
把你的hadoop-0.20.2.tar.gz拷贝到你要安装hadoop的目录,通过下面的命令解压文件
tar zxvf hadoop-0.20.2.tar.gz
 
<2>.进入Hadoop的解压目录,编辑conf/hadoop-env.sh文件(注意在.23版本升级后配置文件位置有所变化)
#The java implmentation to use. Required.
export JAVA_HOME=/usr/lib/jvm/java



<3>.编辑conf目录下core-site.xml,hdfs-site.xml和mapred-site.xml三个核心配置文件
core-site.xml:
<!--core-site主要修改的是
fs.defualt.name:对应的是NameNode的IP地址和端口
-->
<configuration>
<property>
    <name>fs.defualt.name</name>
    <value>hdfs://localhost:9000</>
<!--value 如果是完全分布式这边需要为名称节点的真是IP-->

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/long1657/hadoop/tmp</value>

</property>

</configuration>



<!--hdfs-site主要修改的是数据保存目录和-->
<configuration>
<property>
<!--dfs.data.dir保存的是hadoop数据保存的目录-->
    <name>dfs.data.dir</name>
    <value>/home/long1657/hadoop/data</value>
</property>
<property>
<!--dfs.replication:分布式文件系统里需要把数据备份,同时会往好几个节点里写,伪分布式为1-->
    <name>dfs.replication</name>
    <value>1</value>
</property>

</configuration>

配置mapred-site.xml


<4>.格式化HDFS


存在name has been successfully formatted表示格式化成功

<5>.使用bin/start-all.sh启动Hadoop


判断启动是否成功


在namenode节点中通过:java_home/bin/jps来查看是否存在NameNode,JobTracker,SeconderyNameNode,三个进程,在datanode中,通过相同的命令查看(java_home/bin/jps)是否存在DataNode,TaskTracker进程,

最后,在浏览器中输入namenode节点的IP:50030,出现下面界面:


安装并启动成功。

<6>.使用bin/stop-all.sh关闭Hadoop

(注:本文章为Hadoop的完全分布式安装,重系统安装到Hadoop的安装,需要很多步骤,上文只是用来参考,不可完全照抄,否则容易引起失败)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值