Hadoop系列 (一)：在CentOS中搭建hadoop环境（伪分布式)

Hadoop系列文章

Hadoop系列 (一)：在CentOS中搭建hadoop环境（伪分布式)

Hadoop系列 (二)：完全分布式搭建（腾讯云服务器+阿里云服务器）

Hadoop系列 (三)：HDFS详细介绍

Hadoop系列 (四)：Yarn详细介绍

Hadoop系列 (五)：MapReduce详细介绍

Hadoop系列 (六)：Spark搭建

Hadoop系列 (七)：ZooKeeper详细介绍

Hive系列文章

Hive系列 (一)：Hive搭建

Hive系列 (二)：Hive基础知识

Hive系列 (三)：开窗函数详解

Hive系列 (四)：自定义函数UDF UDTF UDAF

Hive系列 (五)：Hive数据类型

Hive系列 (六)：Hive数据类型转换

Hive系列 (七)：Hive常用函数

Hive系列 (八)：Hive中的explode 与 lateral view

Hive系列 (九)：Hive数据存储

Hive系列 (十)：Hive调优

环境信息

1. 阿里云ECS中CentOS8
2. jdk11
3. hadoop 3.3.0

创建hadoop用户

创建 hadoop 用户，并分配以用户名为家目录/home/hadoop，并将其加入到sudo用户组，创建好用户之后，以 hadoop 用户登录：

root@CentOS ~]#sudo useradd -m hadoop -s /bin/bash
root@CentOS ~]#sudo adduser hadoop sudo
root@CentOS ~]#sudo passwd hadoop # 设置hadoop用户密码

安装jdk

1. 下载jdk11

jdk11官网需要下载认证，本地下载后上传即可
链接：https://pan.baidu.com/s/1li-WqyExtcMFTznPJXhJ0A 
提取码：ja2v 

2. 执行命令解压

   [hadoop@CentOS Downloads]$ tar -zxvf jdk-11.0.11_linux-x64_bin.tar.gz
   

3. 执行命令移动jdk包

   [hadoop@CentOS Downloads]$ mv jdk-11.0.11/  /usr/lib/jvm/java
   #查看
   [hadoop@CentOS Downloads]$ cd /usr/lib/jvm/java
   [hadoop@CentOS java]$ pwd
   /usr/lib/jvm/java
   [hadoop@CentOS java]$ ll
   total 24
   drwxrwxr-x  2 hadoop hadoop 4096 Jun 15 10:13 bin
   drwxrwxr-x  4 hadoop hadoop  112 Jun 15 10:13 conf
   drwxrwxr-x  3 hadoop hadoop  132 Jun 15 10:13 include
   drwxrwxr-x  2 hadoop hadoop 4096 Jun 15 10:13 jmods
   drwxrwxr-x 73 hadoop hadoop 4096 Jun 15 10:13 legal
   drwxrwxr-x  6 hadoop hadoop 4096 Jun 15 10:13 lib
   -r--r--r--  1 hadoop hadoop  160 Mar 19 01:50 README.html
   -rw-r--r--  1 hadoop hadoop 1281 Mar 19 01:50 release
   [hadoop@CentOS java]$ 
   

4. 配置环境变量

   #编辑文件/etc/profile
   #在文件末尾添加
   #java env
   export JAVA_HOME=/usr/lib/jvm/java
   export PATH=$PATH:$JAVA_HOME/bin
   #保存，退出，执行下面命令使配置生效
   [hadoop@CentOS java]$ source /etc/profile
   

5. 验证

   [hadoop@CentOS ~]$ java -version
   java version "11.0.11" 2021-04-20 LTS
   Java(TM) SE Runtime Environment 18.9 (build 11.0.11+9-LTS-194)
   Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.11+9-LTS-194, mixed mode)
   
   

安装hadoop

1. 下载hadoop安装包

   下载hadoop，官网地址：https://hadoop.apache.org/releases.html

   [hadoop@CentOS Downloads]$ wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
   

2. 解压