大数据(五) --完全分布式搭建

说明

    搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置OK.

完全分布式搭建

1. 在node01节点上将上传的Hadoop压缩包解压

这里我将文件解压到/opt/software/hadoop文件夹下.
tar -zxf hadoop-2.6.5.tar.gz -C /opt/software/hadoop

进入配置文件修改目录
cd /opt/software/hadoop/hadoop-2.6.5/etc/hadoop/

2. 修改hdfs-site.xml配置

vim hdfs-site.xml
  编辑文件, 在configuration标签对中插入:

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<property>     
	<name>dfs.namenode.secondary.http-address</name>
	<value>node02:50090</value>
</property>

  其中dfs.replication配置的是block块的副本数, 完全分布式设值为3, 即2个副本, 1个本身;

  dfs.namenode.secondary.http-address配置的是SecondaryNameNode节点的地址和端口, 在三种模式一文中我们规划的是node02节点上执行SecondaryNameNode.

3. 修改core-site.xml配置

vim core-site.xml
  编辑文件, 在configuration标签对中插入

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>

  其中fs.defaultFS配置的是hdfs文件目录的前缀, 这里配置好后, 在输入操作hdfs目录的命令时, 就可以直接从’ / ’ 处开始输入路径.

  hadoop.tmp.dir配置的是hdfs生成文件的存放目录, 包括元数据信息以及blockId.

5. 修改slaves配置文件

vim slaves

编辑slaves, 在文件中写入:

node02
node03
node04

  slaves中配置的是从节点(DataNode)主机名(hostname), 完全分布式来说, 需要三个DN节点.
  在编辑文件时, 要注意纵向写的格式, 主机名后也不可以带空格, 否则可能会导致主机解析失败.

6. 安装包分发

  根据上述步骤配置好之后, 需要将配置好的文件发到其他节点上.

cd /opt/software/hadoop		将hadoop下的hadoop-2.6.5包发送

scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node03:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node04:/opt/software/hadoop/

或使用一种更简单的指令
scp -r hadoop-2.6.5 node02:`pwd`
scp -r hadoop-2.6.5 node03:`pwd`
scp -r hadoop-2.6.5 node04:`pwd`

  发送时, 如果其他节点上没有/opt/software/hadoop/目录, 那么需要自己建立之后再发送. 发送完毕之后要保证所有节点的hadoop目录所在路径都是一致的.

7. 修改hadoop-evn.sh文件

  此步可先跳过, 该文件可以不修改. 当启动hdfs出现" JAVA_HOME cannot find or set" 类似的说明java_home没有配置的提示时, 可再手动配置(前提是执行java -version成功在显示器打印java版本).

vim hadoop-evn.sh

编辑文件, 找到export JAVA_HOME=${JAVA_HOME}那一行

将 = 后的内容改为JAVA_HOME的确切路径, 可使用 echo $JAVA_HOME查看
export JAVA_HOME=/usr/local/jdk1.8.0_181

  修改完成之后还要使用scp命令将修改的文件发送到各个节点上:

scp hadoop-evn.sh node02:`pwd`
scp hadoop-evn.sh node03:`pwd`
scp hadoop-evn.sh node04:`pwd`

8. 将hadoop配置到用户环境变量中

  此处配置好后, 可以在任意位置使用hdfs的指令.

vim ~/.bashrc
在文件最后插入
export PATH=$PATH:/opt/software/hadoop/hadoop-2.6.5/bin:/opt/software/hadoop/hadoop-2.6.5/sbin

9. 格式化NameNode

  格式化之前一定要关闭所有HDFS相关进程, 并删除/var/abc/目录(core-site.xml中配置), 不这样做的话会造成脑裂的问题(网络区域化)

rm -rf /var/abc		切忌删除/var目录
hdfs namenode -format	node01节点执行

   创建core-site中配置的目录及文件

10. 启动HDFS

start-dfs.sh

11. 查看启动进程

jps

12. 操作HDFS文件系统

创建目录 hdfs dfs -mkdir -p /abc/cba
上传文件 hdfs dfs -D dfs.blocksize=1048576 -put  text.txt
...

13. 关闭HDFS

stop-dfs.sh
或
killall java