hdfs集群搭建-- 单机模式

基础环境

配置NAT网络

主机网络配置如下

192.168.80.132

安装同步机制NTP

linux 环境下 安装 NTP
修改 etc/ntp.conf文件，添加条目,选择与阿里云时间同步

 server ntp1.aliyun.com

启动ntp服务

service ntpd start

配置开机自动启动

ystemctl enable ntpd

配置免密登录

先尝试下自己是否可以ssh登录自己,输入密码登录后退出。

[root@192 ~]#  ssh localhost
root@localhost's password: 
Last login: Fri Jul 24 20:58:41 2020 from 192.168.80.1
[root@192 ~]# exit

打开~/.ssh目录，使用

ssh-keygen -t rsa

然后复制到~/.ssh/authorized_keys中，使用如下命令：

cat id_rsa.pub >> authorized_keys

安装jdk_1.8

使用rpm包本地安装jdk

rpm -i  jdk-8u91-linux-x64.rpm

检查usr/java目录下，并确认该目录下，存在default 和latest两个文件夹。

配置jdk的环境变量，编辑etc/profile文件 添加如下条目

export JAVA_HOME= /usr/java/default
PATH=$PATH:$JAVA_HOME/bin

保存并退出后，重新载入一下，使用如下命令

source etc/profile

测试下 ，输入echo $JAVA_HOME 如果输出 usr/java/default,表示配置成功。

安装 hadoop_2.6.3 ,并配置文件

将hadoop的压缩包使用 tar -xf hadoop-x.xx.tar.gz命令解压缩

 tar -xf hadoop-2.7.3.tar.gz

在 opt目录创建bigdata子目录，用来存储软件数据
在var目录创建bigdata子目录，用来存储各个Node用来存放数据

mkdir /opt/bigdata
mkdir /var/bigdata/

将解压的hadoop文件夹移动到/opt/bigdata目录下

mv -r hadoop-2.7.3 /opt/bigdata

设置hadoop的环境变量(和jdk配置的过程一样)，编辑etc/profile文件 添加如下条目

export HADOOP_HOME= /opt/bigdata/hadoop-2.7.3
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出后，重新载入一下，使用如下命令

source etc/profile

测试下 ，输入echo $HADOOP_HOME如果输出 /opt/bigdata/hadoop-2.7.3,表示配置成功。

修改hadoop-env.sh写好jdk的路径

由于刚开始无法载入profile文件中的变量值，所以要将jdk的路径写死在文件中
打开/opt/bigbata/hadoop-2.7.3/etc/hadoop/hadoop-env.xml文件,修改如下内容：

export JAVA_HOME=/usr/java/default

修改core-site.xml 文件

打开/opt/bigbata/hadoop-2.7.3/etc/hadoop/core-site.xml文件，并在<configuration></configuration>标签中添加：

    <property>
        <!-- set default file system . -->
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

修改hdfs-site.xml

打开/opt/bigbata/hadoop-2.7.3/etc/hadoop/hdfs-site.xml文件，并在<configuration></configuration>标签中添加：

    <property>
    <!-- 设置文件的默认副本数 -->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
    <property>
        <name>dfs.namenode.name.dir</name>
          <!-- 设置NameNode的文件目录 -->
        <value>/var/bigdata/hadoop/local/dfs/name</value>
    </property>
    
    <property>
        <name>dfs.datanode.data.dir</name>
        <!-- 设置DataNode的文件目录 -->
        <value>/var/bigdata/hadoop/local/dfs/data</value>
    </property>
    
    <property>
        <name>dfs.namenode.secondary.http-address</name>
         <!-- 设置设置副节点的地址，由于是单机模式，所以还是localhost -->
        <value>localhost:50090</value>
    </property>
    
    <property>
        <name>dfs.checkpoint.dir</name>
        <!-- 设置副节点的文件数据目录 -->
        <value>/var/bigdata/hadoop/local/dfs/secondary</value>
    </property>

修改slaves文件

这个文件是配置DataNode在哪一个节点上启动。默认时localhost，所以在单机模式中，不用修改。

对配置好的集群进行格式化

hdfs namenode -format

到此配置结束。

下面启动集群：

start-dfs.sh 

结果如下：

Starting namenodes on [localhost]
localhost: starting namenode, logging to /opt/bigdata/hadoop-2.7.3/logs/hadoop
-root-namenode-192.168.80.132.outlocalhost: starting datanode, logging to /opt/bigdata/hadoop-2.7.3/logs/hadoop
-root-datanode-192.168.80.132.outStarting secondary namenodes [localhost]
localhost: starting secondarynamenode, logging to /opt/bigdata/hadoop-2.7.3/lo
gs/hadoop-root-secondarynamenode-192.168.80.132.out

使用jps查看下

[root@192 hadoop]# jps
62192 Jps
61892 DataNode
61766 NameNode
62054 SecondaryNameNode

配置完成！