HDFS伪分布式搭建步骤和完全分布式配置

HDFS伪分布式搭建步骤：
------配置免密登录

	①	ssh-keygen -t rsa
	②	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

1、上传文件

	ftp    使用命令rz-----
	注：首先下载---yum install lrzsz -y

2、解压

	tar -zxvf jdk1.8.0_121

3、配置环境变量

	export JAVA_HOME=/opt/software/jdk1.8.0_121
	export PATH=$PATH:$JAVA_HOME/bin

	source /etc/profile-----让环境变量生效
	注：
		用户变量  .bashrc
		系统变量	/etc/profile

4、上传hadoop包

	tar -zxvf hadoop-2.6.5.tar.gz

5、

	bin---系统的操作命令（文件的增删改查）
	sbin--系统的管理命令（集群的启动、关闭）
	etc/hadoop---配置信息
	(1)	修改hdfs-site.xml配置文件
		<property>
        <name>dfs.replication</name>
        <value>1</value>
		</property>
		<property>     
		 <name>dfs.namenode.secondary.http-address</name>
		     <value>node01(本机名):50090</value>
		</property>
	(2)	修改core-site.xml配置文件
		<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01(本机名):9000</value>
		</property>
		<property>
		        <name>hadoop.tmp.dir</name>
		        <value>/var/abc/hadoop/local</value>
		</property>
	(3)	修改slaves配置文件
			修改为(主机名)

6、格式化NameNode(创建目录以及文件)

  	hdfs namenode -format

7、启动命令

	/opt/software/hadoop/sbin----start-dfs.sh

8、配置hadoop的环境变量（第3、文件里加）

	export HADOOP_HOME=/opt/software/hadoop-2.6.5
	export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完全分布式配置

1、配置多个节点的网络映射

192.168.79.123 node01
192.168.79.124 node02
192.168.79.125 node03
192.168.79.126 node04

2、多节点之间免密配置

(1)配置免密登录  node01->node01
	在每一个节点上运行ssh-keygen -t rsa     产生他们自己的密钥
	在node01执行
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
	
	注：将某一个节点的文件发送到其他的节点上
	scp /etc/hosts root@192.168.79.124:/etc

3、配置slaves到多个节点上-----设置的是DN节点的启动位置

4、修改core-site.xml和hdfs-site.xml

5、将修改完成后的文件发送到其他的节点上

scp -r hadoop-cluster root@node02:/opt/software

6、格式化，让配置文件生效

hdfs namenode -format

7、启动集群