大数据学习-Hadoop01-环境搭建

环境配置

1. 修改主机名

查看主机名
[root@hadoop83 ~]# hostname
hadoop83

修改主机名
[root@hadoop83 ~]# hostnamectl set-hostname hadoop83

2. 修改hosts

[root@hadoop83 ~]# vim /etc/hosts
# 172.xx.xx.xx 为内网
172.xx.xx.xx hadoop83

设置SSH无密登录
[root@hadoop83 .ssh]# ssh-keygen -t rsa
[root @hadoop83 .ssh]# ssh-copy-id hadoop83

3. 设置windows的hosts

C:\Windows\System32\drivers\etc
106.xx.xx.xx 为外网
106.xx.xx.xx hadoop

4. 关闭防火墙

[root@hadoop83 ~]# systemctl stop firewalld.service

安装JDK

下载jdk，并解压jdk，并配置Java环境变量，测试Java环境。

解压JDK
[root@hadoop83 ~]# tar -zxvf jdk-8u221-linux-x64.tar.gz

修改Java环境变量
[root@hadoop83 ~]# vim /etc/profile 
内容如下
export JAVA_HOME=/root/jdk1.8.0_221
export CLASS_PATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_PATH=$JAVA_HOME/bin

PATH=$JAVA_PATH:$CLASS_PATH:$HADOOP_HOME:$PATH
export PATH

刷新环境变量
[root@hadoop83 ~]# source /etc/profile

测试环境变量是否可行
[root@hadoop83 ~]# java
[root@hadoop83 ~]# javac

安装Hadoop

下载Hadoop，并解压Hadoop，并配置Hadoop环境变量，测试Hadoop环境。

wget http://101.44.1.6/files/521100000592D499/apache.fayea.com/hadoop/core/current/hadoop-2.7.2.tar.gz

配置Hadoop环境变量

export HADOOP_HOME=/root/hadoop-2.7.2
export HADOOP_PATH=$HADOOP_HOME/bin
PATH=$JAVA_PATH:$CLASS_PATH:$HADOOP_PATH:$PATH

配置：hadoop-env.sh

[root@hadoop83 hadoop-2.7.2]# vi etc/hadoop/hadoop-env.sh 
export JAVA_HOME=/root/jdk1.8.0_221

配置：core-site.xml

[root@hadoop83 hadoop-2.7.2]# vi etc/hadoop/core-site.xml 
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop83:9000</value>
    </property>
    <!-- 指定 hadoop 运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop-2.7.2/data/tmp</value>
    </property>
</configuration>

配置：hdfs-site.xml

[root@hadoop83 hadoop-2.7.2]# vi etc/hadoop/hdfs-site.xml
<configuration>
    <!-- 指定 HDFS 副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

格式化namenode （首次启动需要，以后不需要）

[root@hadoop hadoop-2.7.2]# bin/hdfs namenode -format

启动 namenode

[root@hadoop hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode

启动datanode

[root@hadoop hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode

查看是否启动成功

[root@hadoop83 hadoop-2.7.2]# jps
13026 Jps
12951 DataNode
12861 NameNode

Windows访问http://hadoop:50070/dfshealth.html#tab-overview，查看结果