ubuntu20.04server下安装hadoop2.8.5

参考Ubuntu下Hadoop安装（全命令行版）

安装环境

项目

名称

版本

电脑硬件

Huwei Matebook X Pro

i7-8550U 16G 512G

操作系统

Windows 10

家庭中文版

虚拟机

VMware Workstation 15 Pro

15.0.0 build-10134415

运行系统

ubuntu 20.04 server

20.04 amd64

Java虚拟机

OpenJDK

1.8.0_252-8u252-b09

Hadoop

Hadoop

2.8.5

安装步骤

1. 安装虚拟机

   安装虚拟机时使用下载的iso文件安装即可，注意网络选择NAT，这样可以简单些。

2. 配置账户

   创建账户：

   sudo useradd -m hadoop -s /bin/bash
   

   设置密码

   sudo passwd hadoop
   

   为hadoop用户增加管理员权限

   sudo adduser hadoop sudo
   

   切换到hadoop账户

   su - hadoop
   

   更新hadoop用户的apt,方便后面的安装

   sudo apt-get update
   

3. 安装ssh-server

   在安装ubuntu的过程中，可以选中一并安装好openssh-server,在选择密钥的选项中不用选什么认证账户，直接no即可。

   或者安装好系统后再安装openssh-server:

     sudo apt-get install openssh-server
   

   如果已安装成功，则会提示。如果手动安装openssh-server, 则可能 需要配置一下KEY。

4. 远程登录虚拟机

   在Windows下运行cmd，登录虚拟机，我虚拟机ip为192.168.110.129:

   ssh 192.168.110.129 -l hadoop
   

   ip改为自己虚拟机的ip, -l为用户名，输入密码后登录。

   使用远程登录方便些，一是切换虚拟机始终有些不方便，二是在ubuntu虚拟机下vi/vim编辑配置文件时，会出现有些字符不显示的问题，不知道原因。注意在windows下使用powershell也会出现有时字符显示不出来的问题。

5. 安装jdk

   运行java测试一下，如果没安装java，选择下面脚本中提示的最后一行安装java,这里是openjdk-8

   lyq@ubuntu:~/Desktop$ java -version
   
   Command 'java' not found, but can be installed with:
   
   sudo apt install default-jre              # version 2:1.11-72, or
   sudo apt install openjdk-11-jre-headless  # version 11.0.7+10-3ubuntu1
   sudo apt install openjdk-13-jre-headless  # version 13.0.3+3-1ubuntu2
   sudo apt install openjdk-14-jre-headless  # version 14.0.1+7-1ubuntu1
   sudo apt install openjdk-8-jre-headless   # version 8u252-b09-1ubuntu1
   

   安装java

   sudo apt install openjdk-8-jre-headless
   

   安装好后，切换到安装目录下,将目录改一名为java，以方便配置：

   cd /usr/lib/jvm
   sudo mv java-8-openjdk-amd64 java
   

   配置java环境变量：

   vim ~/.bashrc
   

   添加以下几行：

   # java config
   export JAVA_HOME=/usr/lib/jvm/java
   export JRE_HOME=${JAVA_HOME}/jre
   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
   export PATH=${JAVA_HOME}/bin:$PATH
   

   让配置生效:

   source ~/.bashrc
   

   检查安装结果：

   hadoop@lyq:~$ java -version
   openjdk version "1.8.0_252"
   OpenJDK Runtime Environment (build 1.8.0_252-8u252-b09-1ubuntu1-b09)
   OpenJDK 64-Bit Server VM (build 25.252-b09, mixed mode)
   

6. 安装hadoop

   下载hadoop，我这里用的是2.8.5这个版本，如果要其他版本，则更换这个数字即可：

   wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
   

   解压安装到/usr/local目录下：

   sudo tar -zxvf hadoop-2.8.5.tar.gz -C /usr/local
   

   更换目录名为hadoop以简化配置文件，

   cd /usr/local
   sudo mv hadoop-2.8.5 hadoop
   

   切换用户权限

   sudo chown -R hadoop ./hadoop
   

   配置hadoop环境变量，还是在~/.bashrc文件中

   vim ~/.bashrc
   

   添加以下几行：

   # hadoop config
   export HADOOP_HOME=/usr/local/hadoop
   export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   再执行一下生效配置：

   source ~/.bashrc
   

   运行hadoop，检查一下：

   hadoop@lyq:~$ hadoop@lyq:~$ hadoop version
   Hadoop 2.8.5
   Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 0b8464d75227fcee2c6e7f2410377b3d53d3d5f8
   Compiled by jdu on 2018-09-10T03:32Z
   Compiled with protoc 2.5.0
   From source with checksum 9942ca5c745417c14e318835f420733
   This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.8.5.jar