Hadoop概述及shell操作

一、Hadoop概述

1.hadoop生态圈

 

 2.hadoop的组成

Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn

 

3.HDFS:块级别的分布式文件存储系统

 1) NameNode (nn) :存储文件的元数据，如文件名，文件目录结构,文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等

2) DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和。

3) Secondary NameNode(2nn): 用来监控HDFS状态的辅助后台程序，每隔- -段时间获取HDFS元数据的快照。 

4.MapReduce:分布式计算框架
●MapReduce是采用一种分而治之的思想设计出来的分布式计算框架
●如一复杂的计算任务，单台服务器无法胜任时，可将此大任务切分成一个个小的任务，小任务分别在不同的服务器上并行的执行;最终再汇总每个小任务的结果
●MapReduce由两个阶段组成: Map阶段(切分成一个个小的任务)、Reduce阶段 (汇总小任务的结果)。

5.Yarn:分布式资源管理器

二、Hadoop的shell操作
1.启动/关闭Hadoop集群
在主节点上: start-all.sh/stop-all.sh
2.查看HDFS上的文件和目录
hadoop fs-ls -R/
3.在HDFS.上创建文件夹
hadoop fs -mkdir -p /test/kkb
4.上传文件
hadoop fs -put source(本地文件路径) dest(HDFS路径)
5.下载文件
hadoop fs -get source(HDFS路径) dest(本地文件路径)
6.删除文件
hadoop fs -rm HDFS文件路径hadoop fs -rm -r HDFS目录路径
7.查看文件内容
hadoop fs -cat HDFS文件路径
8.查看集群的工作状态
hdfs dfsadmin -report