一、Hadoop简单概述以及如何搭建集群

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

随着互联网的快速发展，以及5G时代开启高速流量，如何处理庞大的数据量成为一个比较关注的一个问题，由此大数据诞生；大数据主要解决海量数据的存储和海量数据的分析计算；

提示：以下是本篇文章正文内容，下面案例可供参考

一、Hadoop是什么？

1.1 Hadoop是什么

1、Hadoop是Apache基金会所开发的一个分布式基础系统架构
2、Hadoop主要解决海量数据的存储以及海量数据的分析计算
3、广义上讲Hadoop是一个生态圈

2.2 Hadoop发行的三大版本

三大版本：Apache、Cloudera、Hortonworks

3.3 Hadoop优势

1、高可靠性
Hadoop底层维护多个数据副本，即时Hadoop某个计算元素或存储出现故障，也不会导致数据丢失；
2、高扩展性
在集群间分配任务数据，可方便扩展数以千计的节点
3、高效性
在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

3.4 Hadoop的组成

Hadoop1.x: MapReduce(计算+资源调度)、HDFS(数据存储)、Common（辅助工具）
Hadoop2.x: MapReduce(计算)、yarn（资源调度）、HDFS（数据存储）、Common（辅助工具）
Hadoop3.x：无任何变化

3.5 HDFS架构概述

1、NameNode：存储文件的元数据，如：文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等
2、DataNode: 在本地系统存储的块数据以及块数据的校验和
3、Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份

3.6 YARN架构概述

1、ResourceManager:整个集群资源（内存、cup等）的老大
2、NodeManager： 单个节点服务器资源老大
3、ApplicationMaster: 单个任务运行的老大
4、Container：容器，相当一台独立的服务器，里面封装了任务运行所需的资源，如内存、cup、磁盘、网络等

3.7 MapReduce架构概述

MaReduce将计算过程分为两个阶段：Map和Reduce
1、map并行处理数据
2、Reduce对map处理数据进行汇总

二、Hadoop运行环境的搭建

1.linux常用命令

(1)、修改module、software文件夹的所有者和所属组均为atguigu用户：
chown atguigu:atguigu /opt/module
（2）、卸载虚拟机自带的JDK： rpm -qa | grep -i java | Xargs - n1 rpm -e --nodeps
rpm -qa : 查询所安装的所有rpm安装包
grep -i ：忽略大小写
Xargs -n1: 每次只传递一个参数
rpm -e --nodeps: 强制卸载软件
（3）、重启虚拟机： reboot
（4）、解压JDK到/opt/module目录下: tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
(5)、获取安装路径： pwd
(6)、在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上：scp -r /opt/module/jdk1.8.0_212 atguigu@hadoop103:/opt/module
(7)、rsync主要用于备份和镜像，具有速度快、避免复制相同内容和支持符号链接的优点;rsync和scp区别用rsync做文件的复制要比scp的速度快，
rsync只对差异文件做更新，scp是把整个文件都复制过去；
（8）、xsync集群分发脚本：

2.集群配置

NameNode和SecondaryNameNode不要安装在同一台服务器；
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

福利

需要免费大数据、java、面试、书籍、视频资料的+v15112693241

需要免费AIGC教程资料的+v15112693241