Hadoop安装

1. Hadoop简介

Hadoop是一个开源的分布式计算框架，最初由Apache软件基金会开发，旨在解决处理大规模数据的问题。它提供了一种可靠的、可扩展的分布式存储和处理大数据的解决方案。

1.Hadoop安装方法：

1.准备环境：
确保你的系统满足Hadoop的运行要求。通常情况下，Hadoop可以在Linux和Windows等操作系统上运行。
确保你的系统上已经安装了Java，并且配置了正确的Java环境变量。

2.下载Hadoop：
访问Apache Hadoop的官方网站（https://hadoop.apache.org/）下载最新版本的Hadoop压缩包。
或者，你也可以从Apache的镜像站点或者其他可信赖的资源下载Hadoop。

3.解压缩Hadoop：
将下载的Hadoop压缩包解压到你选择的目录中。你可以使用命令行或者图形界面工具进行解压操作。

4.配置Hadoop：
进入Hadoop解压后的目录，在etc/hadoop目录下找到各种配置文件，如core-site.xml、hdfs-site.xml等。
根据你的需求和系统环境，修改这些配置文件。主要的配置包括Hadoop集群的名称、HDFS的数据存储路径、YARN资源管理器的配置等。
你还需要设置一些环境变量，如HADOOP_HOME、JAVA_HOME等，以便系统能够正确识别Hadoop和Java的安装路径。

5.启动Hadoop：
执行Hadoop的启动脚本，通常是bin/hadoop目录下的start-all.sh脚本。这个脚本会启动Hadoop集群的各个组件，包括HDFS、YARN等。
确保没有错误信息出现，并且Hadoop的各个组件都成功启动。

6.验证安装：
打开浏览器，访问Hadoop的Web界面，通常是http://localhost:50070（HDFS界面）和http://localhost:8088（YARN界面）。
在这些界面上，你可以查看Hadoop集群的运行状态、节点信息等。

2.Hadoop集群的搭建和配置：

1.设置静态IP
(1)切换超级用户，命令：su
(2)固定IP
①查看并修改配置文件，命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33
②点击键盘i键，更改当前编辑模式，切换为输入模式insert
③修改文件，如下：

3.设置防火墙：

防火墙实质是一个程序，它可以控制系统进来或者出去的流量。Centos7默认情况下，防火墙是开机自启的。在集群部署模式下，各个节点之间的进程要通信，为了方便，一般都要关闭防火墙。

(1)查看防火墙状态，命令：systemctl status firewalld
(2)关闭防火墙，命令：systemctl stop firewalld
(3)查看防火墙是否开机自启，命令：systemctl is-enabled firewalld
①enabled：表示开机自启
②disabled：表示开机不自启

4. 设置主机名

简单理解，给机器起一个名字。一般在集群当中，都是通过配置主机名来和其他节点通信，所以需要改下机器的名字。命令：hostnamectl set-hostname 804787-hadoop01
localhost，指的是本地主机的意思，使用logout命令登出，再重新登录，用户名已经改变

5.设置主机名和IP的映射

在网络中，可以通过IP通信，因此，在集群中，如果想要通过主机名通信，则还要设置IP来与之对应，类似于域名要绑定IP。
使用vi命令编辑/etc/hosts文件（一般ip+主机就行，不需要第三段，如192.168.203.200 master），设置如下图所示：

6.安装JAVA

(1)使用命令，java -version，检查原本系统自带jdk
(2)卸载自带jdk，命令：rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps。解析：
rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写（JAVA，java,Java）
xargs -n1：每次只传递一个参数
rpm -e -nodeps：强制卸载软件
(3)拖拽方式，上传安装包到Linux的/opt目录下：
(4)使用cd命令进入/opt并解压文件到/opt下，命令：tar -xzvf jdk-8u221-linux-x64.tar.gz -C /opt，解析：
tar：主命令，用于文件归档和压缩的工具。
-xzvf：tar命令的选项
x: 指解压操作（extract）
z: 指解压.gz文件等
v: 指详细模式（verbose），在解压过程中，会显示正在处理的文件名
f: 指文件名（file），tar命令后面会跟随要处理的文件名
jdk-8u221-linux-x64.tar.gz: 要解压的文件的名称
-C: 指更改目录（change directory），在解压前首先切换到指定的目录。
/opt: 要切换到的目录
(5)使用cd命令进入到jdk解压后文件夹，用pwd查看路径，并使用鼠标复制路径/opt/jdk1.8.0_221
(6)在/etc/profile.d下创建一个my_env.sh，进行配置JAVA环境变量，命令：vi /etc/profile.d/my_env.sh（新文件）
(7)重新启动profile，命令：source /etc/profile
(8)验证java是否安装成功：java -version

7. 安装Hadoop

（1）上传文件
（2）使用cd命令进入文件所在路径，再解压安装，命令：tar -xzvf hadoop-3.1.3.tar.gz -C /usr/local
（3）配置环境变量，同JAVA，在/etc/profile.d修改my_env.sh
（4）使用cd命令，进入/usr/local/hadoop-3.1.3/etc/hadoop，配置vi hadoop-env.sh，在末尾加上2句

（5）重启profile，命令：source /etc/profile
（6）使用命令hadoop version检查是否安装成功

总结

1.Hadoop的安装和配置需要按照一定的步骤进行，包括环境准备、软件下载、配置文件修改等。
2.在集群搭建过程中，要注意设置静态IP、关闭防火墙等，以确保节点之间的正常通信。
3.安装过程中需要配置JAVA和Hadoop的环境变量，以确保系统能够正确识别和运行相关软件。