hadoop1.2.1的安装

持续更新中………
我的linux系统使用centos,
hadoop版本是1.2.1
jdk版本是jdk7
注意,一下操作是在普通用户中操作,比如我就是在hadoop用户中操作的


  1. 配置network文件 vi /etc/sysconfig/network ,将你的主机名改为namenode(根据你的选择),然后配置hosts文件vi /etc/hosts,按照
namenode  xxxxxx
datanode1  xxxxxx
datanode2  xxxxxx
....

格式来配置,这一步很关键,涉及到几个节点的相互通信
2. 安装jdk
hadoop的分布式文件是基于java开发的,需要相关的jvm平台,这一点就不再细说了
3. ssh登录(保证各个节点无密登录)
这一点很简单,你只需要将各个节点的公钥放在一个文件夹中就可以了

  • 首先各个节点(包括namenode)生成本地公钥,ssh-keygen -t rsa,结果会在/home/hadoop下隐藏一个.ssh文件
  • 进入.ssh 文件,将id_rsa.pub拷贝名为authorized_keys
  • 将authorized_key文件中内容都互相放在一起成一个文件,然后拷贝在各个节点中,使用scp authorized_keys hadoop@datenode1:/home/hadoop/.ssh
  • 使用ssh datanode1 看能否互相无密码登录

    1. 安装hadoop
      这一步主要是配置几个参数文件,进入conf文件夹中,修改一下文件
  • hadoop-env.sh export JAVA_HOME=xxxxx
  • core-site.xml
<property>
    <name>fs.deafult.name</name>
    <value>hdfs://namenode:9000</value>
</property>
  • hdfs-site.xml
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
  • mapred-site.xml
<property>
    <name>mapred.job.tracker</name>
    <value>namenode:9001</value>
</property>
  • slave
datenode1
datanode2
  • masters
namenode
datanode1
datanode2

然后使用scp -r hadoop hadoop@datanode1:/home

综上,hadoop的基本安装完成,进入bin目录下,执行start-all.sh启动hadoop集群,用jps命令查看是否启动正常

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值