持续更新中………
我的linux系统使用centos,
hadoop版本是1.2.1
jdk版本是jdk7
注意,一下操作是在普通用户中操作,比如我就是在hadoop用户中操作的
- 配置network文件
vi /etc/sysconfig/network
,将你的主机名改为namenode(根据你的选择),然后配置hosts文件vi /etc/hosts
,按照
namenode xxxxxx
datanode1 xxxxxx
datanode2 xxxxxx
....
格式来配置,这一步很关键,涉及到几个节点的相互通信
2. 安装jdk
hadoop的分布式文件是基于java开发的,需要相关的jvm平台,这一点就不再细说了
3. ssh登录(保证各个节点无密登录)
这一点很简单,你只需要将各个节点的公钥放在一个文件夹中就可以了
- 首先各个节点(包括namenode)生成本地公钥,
ssh-keygen -t rsa
,结果会在/home/hadoop下隐藏一个.ssh文件 - 进入.ssh 文件,将id_rsa.pub拷贝名为authorized_keys
- 将authorized_key文件中内容都互相放在一起成一个文件,然后拷贝在各个节点中,使用
scp authorized_keys hadoop@datenode1:/home/hadoop/.ssh
使用
ssh datanode1
看能否互相无密码登录- 安装hadoop
这一步主要是配置几个参数文件,进入conf文件夹中,修改一下文件
- 安装hadoop
- hadoop-env.sh
export JAVA_HOME=xxxxx
- core-site.xml
<property>
<name>fs.deafult.name</name>
<value>hdfs://namenode:9000</value>
</property>
- hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
- mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>namenode:9001</value>
</property>
- slave
datenode1
datanode2
- masters
namenode
datanode1
datanode2
然后使用scp -r hadoop hadoop@datanode1:/home
综上,hadoop的基本安装完成,进入bin目录下,执行start-all.sh启动hadoop集群,用jps命令查看是否启动正常