Hadoop完全分布式搭建

1、node1,2,3,4做免密钥登录
2、安装和配置jdk
3、解压hadoop-2.6.5.tar.gz到/opt目录
4、在hadoop-env.sh中第25行配置
export JAVA_HOME=/usr/java/jdk1.7.0_67
5、slaves，三个datanode所在的位置主机名称:
node2
node3
node4
6、core-site.xml
< configuration>
<!- 指定namenode的位置：在node1上的9000端口发布一个hdfs协议的服务，用于和datanode以及客户端以及secondarynamenode通信 ->
< property>
< name>fs.defaultFS</ name>
< value>hdfs://node1:9000< /value>
< /property>
<!- - 指定该路径，该路径决定了datanode、namenode以及secondarynamenode放数据的目录
dfs.namenode.name.dir
dfs.datanode.data.dir
dfs.namenode.checkpoint.dir
–>
< property>
< name>hadoop.tmp.dir< /name>
< value>/var/bjsxt/hadoop/full< /value>
< /property>
< /configuration>
7、hdfs-site.xml
< configuration>
<! – 指定block默认副本个数 - ->
< property>
< name>dfs.replication< /name>
< value>2< /value>
</ property>
<! --指定secondarynamenode的http服务所在的主机和端口号，同时也就指定了secondarynamenode所在的主机- ->
< property>
< name>dfs.namenode.secondary.http-address< /name>
< value>node2:50090< /value>
< /property>

< /configuration>

8、在/etc/profile中添加HADOOP_PREFIX
在PATH中添加HADOOP的bin和sbin目录

9、将/opt/hadoop-2.6.5/etc/hadoop/* 网络拷贝到node2node3node4上
scp -r * node2:pwd
scp -r * node3:pwd
scp -r * node4:pwd
注:pwd前后加" ` "符号
10、格式化
在node1上执行格式化操作：
hdfs namenode -format
11、启动集群：
在node1到node4上的任意一台服务器都可以执行：
start-dfs.sh
12、停止集群：
在node1到node4上的任意一台服务器都可以执行：
stop-dfs.sh
13、如果发生异常，看日志：/opt/hadoop-2.6.5/logs