大数据平台运维（hadoop入门（保姆篇））----概述及基本环境配置(HA-1)

2022.12.4  大数据运维基础篇 本章主要是基础坏境配置

目录

前言

 一、hadoop是什么？

1.1 Hadoop 是什么

1.2 Hadoop 优势

1.3 Hadoop 组成

 二、大数据技术体系

                  2.1 HDFS 架构概述Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

2.2 YARN 架构概述

2.3 MapReduce 架构概述 

三. 推荐系统框架图

四. 实操 Hadoop集群基础环境的配置 （重点！！！）

1.配置ip 

2.设置主机名（三台都需要）

3.集群ip地址和主机名的映射

         4.创建hadoop用户

         5.关闭防火墙

5.1 步骤一：关闭防火墙（三台都要关闭）

5.2 步骤二：关闭防火墙自启

5.3 步骤三：查看防火墙状态

         6.配置集群主机之间的时钟同步（避免集群中主机连接超时）

6.1 直接同步（集群中所有的节点都可以访问互联网）

6.2平滑时间同步

         7. SSH免密（重要！）

7.1 生成ssh密钥

7.2 交换ssh密钥

总结

---

---

前言

适用于大数据平台运维  1+x证书等

一、hadoop是什么？

1.1 Hadoop 是什么

（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构
（2）主要解决海量数据的存储和海量数据的分析计算问题
（3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

1.2 Hadoop 优势

（1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
（2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
（3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
（4）高容错性：能够自动将失败的任务重新分配。

1.3 Hadoop 组成

版权声明：本文为CSDN博主「@从一到无穷大」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/huxili2020/article/details/117809913

二、大数据技术体系

图中涉及的技术名词解释如下：

（1）Sqoop：Sqoop 是一款开源的工具，主要用于在Hadoop、Hive 与传统的数据库（MySQL&#