hdfs相关知识

分布式和集群区别

**分布式 ：**分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事
**集群：**集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事

集群和分布式，都是描述的一组计算机。集群的所有节点跑的是同样的任务，集群本质是多台服务器联合起来独立做相同的任务(多个服务器分担客户端发来的请求) 。而分布式系统的节点跑的是分解后的任务,分布式本质是多台服务器协同配合完成同一个大任务(每个服务器都只完成大任务拆分出来的单独1个子任务)
以修手机为例：维修手机要分为检测、维修、测试三个环节，当多部手机都需要维修的时候,为了提高效率，雇了10位工程师。如果每个工程师维修时，对每台手机进行检测、维修和测试，这就是集群的工作方式。如果2位工程师负责检测，5位工程师负责维修，剩下的3位工程师负责测试，这就是分布式的工作方式。

hadoop技术栈的组成

首先hadoop技术栈由HDFS , MapReduce ,YARN三大组件组成
其次三大组件核心知识如下:

HDFS是（分布式文件系统）,解决海量数据存储,元数据是描述核心数据的数据
NameNode是集群当中的主节点，主要用于管理集群当中的各种数据
SecondaryNameNode是主要能用于辅助NameNode进行文件块元数据存储
DataNode是集群当中的从节点，主要用于存储真实的海量的业务数据

YARN是（作业调度和集群资源管理的框架）,解决资源任务调度
ResourceManager是接收用户的计算请求任务，并负责集群的资源管理和分配
NodeManager是 负责执行主节点分配的任务(给MR的计算程序提供资源)
MapReduce是（分布式运算编程框架）,解决海量数据计算
核心思想就是分而治之 Map负责分解,Reduce负责合并
最后概括下MapReduce计算需要的数据和产生的结果需要HDFS来进行存储,MapReduce的运行需要由Yarn集群来提供资源调度。

HDFS核心代码

hdfs的shell命令格式2: hdfs dfs -命令 参数

查看目录下内容:  hdfs dfs -ls 目录的绝对路径
创建目录: hdfs dfs -mkdir 目录的绝对路径
创建文件: hdfs dfs -touch 文件的绝对路径
移动目录/文件: hdfs dfs -mv 要移动的目录或者文件的绝对路径 目标位置绝对路径
复制目录/文件: hdfs dfs -cp 要复制的目录或者文件的绝对路径 目标位置绝对路径
删除目录/文件: hdfs dfs -rm [-r] 要删除的目录或者文件的绝对路径

把本地文件内容追加到hdfs指定文件中: hdfs dfs -appendToFile 本地文件 hdfs文件绝对路径
查看文件的内容: hdfs dfs -cat 要查看的文件的绝对路径          
注意: 除了cat还有head,tail也能查看

查看hdfs其他shell命令帮助: hdfs dfs --help
注意: hdfs有相对路径,如果操作目录或者文件的时候没有以根目录/开头,
就是相对路径,默认操作的是/user/root

linux本地上传文件到hdfs中:
hdfs dfs -put linux本地要上传的目录或者文件路径  hfds中目标位置绝对路径
hdfs中下载文件到liunx本地: 
hdfs dfs -get hfds中要下载的目录或者文件的绝对路径 linux本地目标位置路径