四台虚拟机
虚拟机 | |
---|---|
node01 | namenode |
node02 | seconderynamenode ,datanode |
node03 | datanode |
node04 | datanode |
步骤:
1、时间同步:
①各个节点安装ntp命令yum install ntp
②上网查找最新的时间服务器ntp1.aliyun.com
③同步时间ntpdate ntp1.aliyun.com
2、配置免密登陆
node01->node01 node01->node02 node01->node03 node01->node04
①所有节点执行 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
②在node01节点执行,将node01的公钥加入到其他节点的白名单中
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
3、所有节点配置jdk
在/opt下新建software(mkdir software),新建jdk(mkdir jdk)上传jdk压缩包,解压
tar xzvf ***
配置环境变量:
vim /etc/profile
在最后添加(注意路径):
export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin
保存后 source /etc/profile
4、修改hadoop配置文件
上传hadoop-2.6.5到 opt/software/hadoop 。解压文件
进入到hadoop-2.6.5/etc/hadoop下,修改hdfs-site.xml
vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:50090</value>
</property>
修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/cluster</value>
</property>
修改slaves配置文件
修改为:node02
node03
node04
5、在每个节点配置 hadoop环境变量
vim /etc/profile
在 export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151下面加
export HADOOP_HOME=/opt/software/hadoop/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6、进入 /opt/software/hadoop/hadoop-2.6.5/etc/hadoop 修改hadoop-env.sh
scp hadoop-env.sh node02 pwd
scp hadoop-env.sh node03 pwd
scp hadoop-env.sh node04 pwd
7、将配置好的安装包分发到其他节点上
scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
8、格式化NameNode
格式化用来创建目录及文件,在node01节点执行
hdfs namenode -format
注意在这之前要讲所有的HDFS进程关闭
9、启动HDFS
start-dfs.sh
注意事项:
在配置环境变量时要注意路径的问题,
注意将每个节点的ip加到node01的 /etc/hosts里面