2021暑期学习第25天

前言

• 时间：2021.8.13
• 内容：
  • HDFS 组件的组成
  • YARN 组件的组成
  • MapReduce 架构
  • HDFS 操作命令
  • 完全分布式安装

1 HDFS组件的组成

[hyidol@centos7 hadoop-3.3.1]$ sbin/start-dfs.sh
Starting namenodes on [centos7]
Starting datanodes
Starting secondary namenodes [centos7]
[hyidol@centos7 hadoop-3.3.1]$ jps
1442 NameNode
1554 DataNode
1892 Jps
1740 SecondaryNameNode

• 架构：主从架构，主的去管理从的。
  • NameNode 和 DataNode 是一对多关系。
  • 1 NameNode-》1000 DataNode
• 进程：
  • NameNode： 存储元信息（文件的描述信息）。文件大小，创建时间，创建人，最后修改时间，都是文件的描述信息。
  • SecondaryNameNode：复制和备份 NameNode 的数据。
  • DataNode： 存储数据信息（文件）。
• 文件块：
  • dfs.replication = 1 （文件块默认128MB）

2 YARN组件的组成

• 架构：主从架构。
• 进程：
  • ResourceManager：是主节点，管理其他的所有 NodeManagers
  • NodeManagers：是从节点，管理本地资源。容器，任务管理…
• 其他（这个不太明白）
  • ApplicationMaster：针对MR每个请求job的抽象封装。
  • Container：将来运行在YARN上的每一个任务都会给其分配资源，Container就是当前任务所需资源的抽象封装。
• 容器：Docker，启动一个进程/线程，就是操作系统

3 MapReduce架构

• Map阶段：就是把需要计算的数据安装需求分成多个MapTask任务来执行。（分）
• Reduce极端：把Map阶段处理完的结果拷贝过来，根据需求进行汇总计算。（合）

4 HDFS 操作命令

• 语法： hdfs 子命令 -命令 参数

• 操作：$HADOOP_HOME/…

  • bin/hdfs dfs

• 上传一个文件到 HDFS 的根目录下的 input 目录。

  bin/hdfs dfs –mkdir /input //在 hdfs 中创建一个目录 input
  

```
bin/hdfs dfs –put /home/hadoop/user /input/ //user 文件上传到 hdfs 的/input/
```

• 查看目录下的子目录，及子目录下的文件，递归查看。

  in/hdfs dfs –ls –R /
  

• 查看文件内容。

  bin/hdfs dfs –cat /input/user