Hadoop1.0 hdfs完全分布式集群搭建

Hadoop1.0 hdfs完全分布式集群搭建

hadoop1.0 hdfs完全分布式安装：
集群条件：
节点名称：	namenode:		datanode:	SecondaryNameNode :
node08			*										
node09							*			*			
node10							*						
node11							*						

系统环境：节点支架免密登陆，jdk环境，防火墙关闭

安装步骤：
【01】四个机器安装jdk1.8（步骤略）
	安装目录：/opt/sxt/jdk1.8.0_191

【02】四个机器上都上都配置 JAVA_HOME 
	命令：vi /etc/profile
	export JAVA_HOME=/opt/sxt/jdk1.8.0_191

	export HADOOP_PREFIX=/opt/sxt/hadoop-2.6.5
	export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
	（注意：jps可以检验 Java是否安装成功）

【03】ssh免密钥
#注意：如果没有.ssh，可以ssh  localhost
在【node08】中：
	命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
	命令：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

然后在 .ssh 目录下：
	命令：scp  id_dsa.pub   root@node09:`pwd`/node08.pub
	命令：scp  id_dsa.pub   root@node10:`pwd`/node08.pub
	命令：scp  id_dsa.pub   root@node11:`pwd`/node08.pub

进入【node09】的 .ssh 中：
	命令：cat  node08.pub	>>   authorized_keys
进入【node10】的 .ssh 中：
	命令：cat  node08.pub	>>   authorized_keys
进入【node11】的 .ssh 中：
	命令：cat  node08.pub	>>   authorized_keys

#在【node08】可以进入免密钥测试：	ssh node09     (注意：一定要exit退出，不然一切操作就紊乱了)

【04】在node08中上传hadoop.tar.gz到服务器并解压
	命令：tar vf hadoop-2.6.5.tar.gz

【05】在node08中移动解压文件到opt/sxt下
	命令：cd opt/
	命令：mkdir sxt
	命令：cd
	命令：mv hadoop-2.6.5 /opt/sxt/

【06】在node08中修改 /opt/sxt/hadoop-2.6.5/etc/hadoop 中的配置
	
	配置*-.env.sh文件中的 java_home的绝对路径（ ll *-env.sh）
	命令：cd /opt/sxt/hadoop-2.6.5/etc/hadoop
		[root@node08 hadoop]# vi hadoop-env.sh 
		[root@node08 hadoop]# vi mapred-env.sh 
		[root@node08 hadoop]# vi yarn-env.sh 
	
	修改：core-site.xml
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node08:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/full</value>
    </property>
	
	修改：hdfs-site.xml
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node09:50090</value>
    </property>
	
	修改：slaves
		node09
		node10
		node11

【07】部署其他机器的hadoop。在node08中分发操作：
	命令：cd /opt/sxt		（确保其他机器中有sxt目录）
	命令：scp -r hadoop-2.6.5  node09:`pwd`
	命令：scp -r hadoop-2.6.5  node10:`pwd`
	命令：scp -r hadoop-2.6.5  node11:`pwd`

【08】执行/etc/profile
	命令： . /etc/profile

【09】在node08中格式化
	命令：hdfs namenode -format 
【10】启动
	命令：start-dfs.sh	
【11】停止
	命令：  stop-dfs.sh
<--------------------以上安装完成------------------------>
【12】浏览器访问
	http://192.168.88.18:50070
【13】在node08中创建目录
	命令：hdfs  dfs   -mkdir  -p  /user/root	
【14】上传文件：
	命令：hdfs dfs -D dfs.blocksize=1048576  -put  test4.txt  /user/root