阿里云服务器安装JDK+Hadoop2.7.7详解

JDK安装

首先复制JDK安装包到服务器，解压到/java中，设置环境变量如下：

vi /etc/profile
#java environment
JAVA_HOME=/java/jdk1.8.0_251
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

切记环境变量生效

source /etc/profile

笔者安装的是jdk1.8.0_251,查看 jdk 输入

java -version

出现下图则安装成功

java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

Hadoop安装

下面将hadoop安装包拷进服务器，解压到/hadoop中，设置环境变量如下：

cd /hadoop
tar -zxf /software/hadoop-2.7.7.tar.gz

vi /etc/profile
#hadoop environment
HADOOP_HOME=/hadoop/hadoop-2.7.7
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH

切记环境变量生效

source /etc/profile

修改配置文件

cd /root/hadoop/hadoop-2.7.7/etc/hadoop/

依次修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件

hadoop-env.sh

 export JAVA_HOME=/usr/java/jdk1.8.0_251

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://内网IP:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/hadoop/hadoop-2.7.7/tmp</value>
                <description>location to store temporary files</description>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>内网IP地址</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>3072</value>
        </property>
</configuration>

slaves

vim /hadoop/hadoop-2.7.7/etc/hadoop/slaves

将原来的localhost删除，改成服务器内网IP地址
格式化DFS

hdfs namenode -format

日志出现successfuly format则格式化成功

启动hadoop

start-all.sh

启动过程中，要输入的密码就是你服务器的登录密码

最后输入jps查看，输出内容如下：

4276 NameNode
4709 ResourceManager
5062 Jps
4809 NodeManager
4395 DataNode
4559 SecondaryNameNode

以上是安装的全部过程

访问网页前，切记要在阿里云服务器防火墙添加50070、8088、9000端口

外网IP:50070
外网IP:8088

以上为hadoop安装及访问的全部步骤。

参考资料
https://www.jianshu.com/p/ddba8a269549

https://blog.csdn.net/xueqinna/article/details/77688185