Hadoop-HDFS的伪分布式和完全分布式集群搭建

Hadoop-HDFS

HDFS伪分布式集群搭建步骤

一、配置免密登录

ssh-keygen -t rsa

一句话回车到底

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

跟随提示进行，一般需要yes确认之后输入一次密码就成功了
如果没配置免密登录的话，会出现登录和退出HDFS时，所有节点都需要输一遍密码。(本人亲身实践，虽然还是启动成功了)

二、上传jdk和hadoop压缩包
可以使用ftp或者使用命令rz

yum install lrzsz -y

三、解压jdk和hadoop压缩包
建议可以解压到统一的目录下
tar -zxvf 压缩包名
四、配置环境变量

export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

必须让环境变量生效，代码如下:

source /etc/profile

PS：用户变量 .bashrc
系统变量 /etc/profile
系统操作命令(文件的增删改查) bin
系统管理命令(集群的启动、关闭) sbin
hadoop配置信息 etc/hadoop
五、修改配置文件
① slaves配置Datanode节点