HADOOP-day01-HDFS安装部署

HDFS安装部署

1 上传

hadoop安装包
链接：https://pan.baidu.com/s/1Fk7_ZsEENrolML_8VQuPoQ
提取码：g22p
复制这段内容后打开百度网盘手机App，操作更方便哦

cd /opt/apps
rz

2 解压

tar -zxvf hadoop-3.1.1.tar.gz

3 配置

vi /opt/apps/hadoop-3.1.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/apps/jdk1.8.0_141/

vi /opt/apps/hadoop-3.1.1/etc/hadoop/hdfs-site.xml

<configuration>
<!-- 集群的namenode的位置  datanode能通过这个地址注册-->
<property>
        <name>dfs.namenode.rpc-address</name>
        <value>linux01:8020</value>
</property>
 <!-- namenode存储元数据的位置 -->
<property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hdpdata/name</value>
</property>
 <!-- datanode存储数据的位置 -->
<property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hdpdata/data</value>
</property>
 <!-- secondary namenode机器的位置-->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>linux02:50090</value>
</property>
</configuration>

vi /opt/apps/hadoop-3.1.1/etc/hadoop/core-site.xml

    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://linux01:8020</value>
    </property>

4 分发给集群

scp -r hadoop-3.1.1 linux02:$PWD

scp -r hadoop-3.1.1 linux03:$PWD

5 初始化

在/opt/apps/hadoop-3.1.1/bin 目录下执行
./hadoop namenode -format
执行完后在/opt下会生成hadoop目录

6 启动

在/opt/apps/hadoop-3.1.1/sbin 目录下执行
./hadoop-daemon.sh start namenode

jps 出现namenode进程

在linux01 linux02 linux03 的 /opt/apps/hadoop-3.1.1/sbin 目录下执行
./hadoop-daemon.sh start datanode

访问页面 http://linux01:9870

7 配置系统环境变量

vi /etc/profile

export JAVA_HOME=/opt/apps/jdk1.8.0_141
export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

8 一键启停

在/opt/apps/hadoop-3.1.1/etc/hadoop/workers 配置 需要启动DataNode的机器名

linux01
linux02
linux03

在启停脚本中声明用户 sbin/stop-dfs.sh

vi sbin/start-dfs.sh  /   vi sbin/stop-dfs.sh
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root

start-dfs.sh

stop-dfs.sh