Linux搭建HDFS集群

不是安装一个软件，而是安装一群软件！

先用Windows到Hadoop官网上下载我们自己所要使用的相应版本的.tar包，并复制我们用vmware所搭建好的Linux虚拟机里边， tar -xzvf 包名  -C 想要放到的目录。

重点：配置文件修改   vim hadoop-2.8.3/etc/hadoop/hdfs-site.xml

NAMENODE：

指定NAMENODE在什么机器、什么端口工作：

dfs.namenode.rpc-address=master:9000

NAMENODE的元数据持久化存储目录：

dfs.namenode.name.dir=/root/hdpdata/name/

SECONDARY NAMENODE:

dfs.namenode.secondary.http-address=slave1:50090

DATANODE：

指定DATANODE的文件块存储目录：

dfs.datanode.data.dir=/root/hdpdata/data/（没有的文件目录可以自己命名新建相应的修改此处文件目录即可）

安装步骤

前提：

准备4台linux机器

装好jdk

配好IP地址、主机名、域名映射、关闭防火墙

补充一个命令：禁止一个服务（防火墙）开机自启： chkconfig iptables off

配好master -->其他所有机器的免密登陆机制

a) 上传安装包到master

b) 解压

c) 修改配置文件

hadoop-env.sh

exportJAVA_HOME=/root/app/jdk1.8.0_60

d) 复制安装包到别的机器

scp -r  hadoop-2.8.1/  slave1:/root/app/

scp -r  hadoop-2.8.1/  slave2:/root/app/

scp -r  hadoop-2.8.1/  slave3:/root/app/

e) 把namenode的元数据目录初始化(在master) 第一次启动hdfs时候要执行此步骤

bin/hadoop namenode -format

f) 手动启动

这次可不是启动一个程序，而是启动一堆程序；

要在master上启动namenode软件

sbin/hadoop-daemon.sh start namenode

要在slave1/2/3上启动datanode软件

sbin/hadoop-daemon.sh start datanode

启动完后，可以用浏览器请求namenode的50070端口

http://master:50070

可以看到集群的信息、以及文件系统的目

批启动：

启动hdfs： sbin/start-dfs.sh

停止hdfs： sbin/stop-dfs.sh