hadoop2.7入门-集群搭建

前文描述了hadoop的安装以及centos的克隆，现在看一下如何搭建集群

1、测试机器之间互相通讯是否正常

2、关闭防火墙

停止防火墙：
systemctl stop firewalld
禁用防火墙（下次开机也不会启动防火墙）：
systemctl disable firewalld

3、启动hadoop

master上启动hadoop，名字叫做namenode，存储文件的名字和存放位置，管理者
slave上启动hadoop，名字叫做datanode，存储所有文件的数据，可以不断扩展，数据存储者
namenode，可以有冗余和备用namenode，以防止namenode宕机

3.1：写配置文件

文件在hadoop安装文件夹的etc/hadoop目录下
cd /usr/local/hadoop-2.7.3/etc/hadoop
文件名是：core-site.xml
配置中心节点信息
vim core-site.xml
插入一个配置信息
property节点
保存退出
注意：这里有个坑：xml文件的开头一定要在第一行，第一行不能是空行，请保存的时候，一定要检查一下，否则启动的时候会报错

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
</configuration>

3.2：设置hosts

在所有需要集群的机器上配置：
vim /etc/hosts

插入：
192.168.13.135 master
192.168.13.131 slave1
192.168.13.132 slave2
192.168.13.133 slave3

esc退出，:wq回车保存

3.3：分别启动namenode和datanode

master机器上启动
可以先格式化namenode的文件所在位置（第一次启动时可以格式化一下）
hdfs namenode -format
启动namenode：
hadoop-daemon.sh start namenode

然后使用jps命令查看namenode是否启动成功

如果启动没成功（jps查不到NameNode，请先使用格式化命令，格式化成功后再启动namenode）

启动datanode，在所有从节点执行命令：
hadoop-daemon.sh start datanode
jps查看DataNode是否启动成功

至此：基本的环境已经搭建起来