大数据之Hadoop集群安装和搭建

Hadoop集群安装和搭建

整体规划：

虚拟机资源：

192.168.143.33 had-master
192.168.143.31 node01
192.168.143.32 node02

一、配置hosts文件和ssh免密登录

1.修改hosts配置文件（所有虚拟机都需要配置此文件）

vi /etc/hosts

2.生成密钥文件（四次回车）

ssh-keygen -t rsa

3.将本机公钥文件复制到其它虚拟机上（接收方需先开机）
 在k8s-master上执行，先输入yes，后输入对应主机的密码，多台虚拟机配置操作相同

ssh-copy-id had-master
ssh-copy-id node01
ssh-copy-id node02

4.在虚拟机node01，node02都需要执行，保证三台主机都能够免密登录

ssh-copy-id had-master
ssh-copy-id node01
ssh-copy-id node02

5.查看是否成功免密登录

二、Hadoop集群配置

1. JDK安装（所有虚拟机都要操作）

hadoop-3.3.3.tar.gz

jdk-8u161-linux-x64.tar.gz

1.1 配置环境变量

可配置在/etc/profile下
vim /etc/profile.d/myenv.sh
在最底下添加java环境变量，完成后,source一下，使之生效：
source /etc/profile.d/myenv.sh

#java环境变量
export JAVA_HOME=/usr/local/java/jdk_1.8.0_341
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

java -version

2.Hadoop安装（所有虚拟机都要操作）

2.1 解压hadoop

cd /home/whl/
tar -zxvf hadoop-3.3.3.tar.gz

2.2 配置hadoop环境变量

vi /etc/profile
在最底下添加java环境变量，完成后,source一下，使之生效：
source /etc/profile

#hadoop环境变量
export HADOOP_HOME=/home/whl/hadoop-3.3.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.3 查看是否配置成功

hadoop version

3.Hadoop集群配置

3.1 进入主节点配置目录

cd /home/whl/hadoop-3.3.3/etc/hadoop

3.2 修改hadoop-env.sh文件

vi hadoop-env.sh
#tip:找到相应位置，添加这段话
export JAVA_HOME=/usr/local/java/jdk1.8.0_341

3.3 修改core-site.xml文件

vi core-site.xml
添加如下内容：
<configuration>
    <!--用于设置Hadoop的文件系统，由URI指定-->
    <property>
        <name>fs.defaultFS</name>
        <!--用于指定namenode地址在had-master机器上-->
        <value>hdfs://had-master:9000</value>
    </property>
    <!--配置Hadoop的临时目录，默认/tem/hadoop-${user.name}-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/whl/hadoop-3.3.3/tmp</value>
    </property>
</configuration>

3.4 修改hdfs-site.xml文件

vi hdfs-site.xml
添加如下内容：
<configuration>
    <!--指定HDFS的数量，不能超过datanode节点数量-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--namenode web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>had-master:9870</value>
    </property>
    <!--secondary namenode 所在主机的IP和端口-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:50090</value>
    </property>
</configuration>

3.5 修改mapred-site.xml文件

vi mapred-site.xml
添加如下内容：
<configuration>
    <!--指定MapReduce运行时的框架，这里指定在YARN上，默认在local-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration