Hadoop入门笔记

Hadoop入门笔记

Hadoop复习

Hadoop细碎知识

	Hadoop：
			广义：以Apache Hadoop软件为主的生态圈（hive， zookee，hbase， spark）
			狭义：Apache Hadoop软件
	
	Apache顶级项目域名：项目名.apache.org
					   例如：hadoop.apache.org
					   	    hive.apache.org
					   	    spark.apache.org
	还有在孵化中的项目的域名：
	
	hadoop软件：1.X企业不用
			   2.X是主流
			   3.X不完全
			   多数用的都是cdh5.X部署大数据环境，本次学习使用2.6.0-cdh5.7.0的环境(www.cloudera.com)
	（Apache Hadoop : hadoop.apache.org）
	 (cdh Hadoop : http://archive.cloudera.com/cdh5/cdh/5/)

Hadoop伪分布式部署：待补充

Hadoop组件

1.HDFS架构设计

	三个进程：NameNode NN 
			Secondary NameNode SNN
			DataNode DN
	(采用master／slaves 主从架构)
	
	Rack：机架 可以放多个主机(10个)，GPU主机 5 个
	
	1.NN节点：文件系统的命名空间
		a.文件名称
		b.文件目录结构
		c.文件属性，创建时间，权限，副本数
		d.文件对应哪些数据块 -->数据块又与哪些DataNode对应(blockmap)
	注：NN节点不会持久化存储这种映射关系，DN定期发送blockreport给NN，因此NN在**内存**中维护这种映射关系
	
	问：生产上HDFS为什么不适合存储小文件，该怎么处理？
	   假如NN节点维护一个小文件需要250个字节
	   如果小文件太多，乘250会很大
	   解决办法：可以通过合并文件，合并后的文件尽量是一个块大小(默认是128M)
	 
	 NameNode作用：
	 		1.管理文件系统的命名空间,
	 		2.维护文件系统树，以两种文件永远保存在磁盘上
	 		3.命名空间镜像文件 fsimage，编辑日志editlog

	2.DN节点：
		a.存储：存储数据块和数据块的校验和
		b.与NN节点通信，3秒一个心跳
		  每10秒发送一次当前节点的blockreport
	  DataNode作用：读写文件的数据块

NameNode与DataNode关系图：

DataNode，block，副本：

	3.SNN节点：
		存储：fsimage+editlog
		作用：定期合并fsimage+editlog为新的fsimage文件，推送给NN节点，简称检查点  checkpoint
		参数设置：dfs.namenode.checkpoint.period  3600s
		editlog：读写记录
		fsimage：读写的记录(all)

SNN工作流程如图：

tmp中SNN的目录：

tmp中NN的目录：

流程大致如下：
1.NN roll edits(向前，例如每个小时的09分 check)
2.NN给SNN fsimage和editslog
3.SNN将fsimage和editslog合并
4.将合并后的fsimage推送给NN
因为每到一个checkpoint才会进行该操作，故如果NN故障，那么从上个checkpoint到故障点的editlogs无法备份，Hadoop HA热备份

HDFS写数据流程：
1.Client调用FileSystem.create(Path)方法，去与NN节点进行RPC通信，check该路径的文件是否存在，以及有没有权限去创建该文件，假如ok，那么创建一个新文件，但是不关联任何的block，NN再根据上传的文件大小，块大小，副本数，计算多少块，以及块存放的DN，最终将这些信息返回给Client，为FSDataOutputStream。
2.Client调用FSDataOutputStream.write方法，将第一个块的第一个副本写到第一个DN，写完写第二个副本，再写第三个副本，写几个因副本系数而定，当副本写完后，从最后一个副本所在的DN依次返回ack packet ；第一个DN返回ack packet给FSDataOutputStream对象，标识第一个块，副本写完。然后再写其他的块。
3.当文件写入完成后，Client调用FSDataOutputStream.close()方法。关闭输出流，flush缓存区的数据包。
4.再调用FileSystem.complete(),通知NN节点写入成功(可以不用向NN汇报，因为DataNode每隔三秒便会向NN汇报心跳)
注：当存活的DN满足副本系数的时候才能写。
写流程如图：

HDFS读流程：
1.Client通过FileSystem.open(filePath),去与NN进行RPC通信，返回该文件的部分或者是全部block列表，也就是FSDataInputStream对象。

2.Client调用FSDataInputStream对象的read()方法：
a.去最近的包含第一个块的DN进行read，读完后会进行check，假如success，会关闭与当前DN的通信。假如fail会记录失败的DN+block信息，下次不再读取。回去包含该块的第二个DN读取。
b.然后去包含第二个块的最近的DN读取，同样会进行check，success，关闭与当前DN的通信。
c.假如当前block列表全部读取完成文件还没结束，那么FileSystem会从NN读取下一批的block列表。
3.Client调用FSDataInputStream.close()方法关闭输入流。

副本放置策略

2.MapReduce

	MapReduce 分布式计算框架(通常企业级开发不用，很累赘，基于磁盘速度慢)
	#可作为学习其他组件的参照，面试被问到过MRshuffle原理
	容器：container Yarn资源抽象概念 on NodeManager节点机器上   虚拟的概念
	将一定大小的内存和cpu vcore组成的最小单元，运行计算的任务task
	例：
		一大瓶桶装水29L
		大瓶的规格29L 1瓶 1个container
		小瓶的规格8L  3瓶 3个container  5L	
		
	vcore 虚拟core
	Yarn中目前的cpu被划分成虚拟CPU(CPU virtual Core)，
	这里虚拟CPU是Yarn自己引入的概念，初衷是考虑到不同节点的CPU具有的计算能力不一样，比如某个物理的CPU计算能力可能是另一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异
	用户提交作业时候，可以制定每个任务所需要的虚拟CPU个数

MapReduce1.X先不复习

MapReduce2.X on Yarn

Yarn：
	job，app，application 作业差不多都是同一概念
	ResourceManager：资源作业管理者
		ApplicationManager ：作业管理
		ResourceScheduler：资源调度
	NodeManager		节点
	
	MapReduce on Yarn执行流程：
		1.用户向Yarn提交应用程序job，其中包括ApplicationMaster程序还有启动ApplicationMaster的命令等
		2.RM为该job分配一个container，并与对应的NM去通信，要求在这个容器中启动该job的ApplicationMaster
		3.ApplicationMaster首先向ApplicationManager去注册，此时可以通过WebUI来查看job的运行状态和日志。
		4.ApplicationMaster向ResourceScheduler采用轮询的方式通过RPC协议申请和领取资源列表(注意，这里是**资源列表，而非资源**)
		5.ApplicationMaster申请到资源后，便与对应的NM节点通信，要求启动任务。
		6.NM为task设置好运行环境(环境变量，jar包)将任务的启动命令写在一个脚本文件中，并通过该脚本启动任务。
		7.各个task通过RPC协议向ApplicationMaster汇报自己的状态和进度，以便于ApplicationMaster可以 i随时掌握各任务的运行状态，从而可以在task运行失败时重新启动任务。
		8.job运行完成后，ApplicationMaster向RM注销并关闭自己。
	大致分两个阶段：
		启动ApplicationMaster
		由ApplicationMaster创建job，为它申请资源并监控整个运行过程，直到它完成。

MapReduce on Yarn流程如下图：

Yarn

Yarn的架构设计图如下图所示：
由于在MapReduce on Yarn中已经详解了执行流程，这里不再赘述。

Yarn常用命令：

yarn application –list
yarn application –kill -applicationId <application ID> 			  
yarn logs -applicationId <application ID>

YARN资源管理与调度、参数配置
在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负 责资源的分配，而NodeManager则负责资源的供给和隔离。
ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的资源调度)后，NodeManager需按 照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基础的保证，这就是所谓的 资源隔离。

基于以上考虑，YARN允许用户配置每个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若
干个服务共享，比如一部分给YARN，一部分给HDFS，一部分给HBase等，YARN配置的只是自己可以使用的，配置参数如下:

Memory
(1)yarn.nodemanager.resource.memory-mb 
表示该节点上YARN可使用的物理内存总量，默认是8192(MB)，注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而 YARN不会智能的探测节点的物理内存总量。

(2)yarn.nodemanager.vmem-pmem-ratio
任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。

(3) yarn.nodemanager.pmem-check-enabled 
是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

(4) yarn.nodemanager.vmem-check-enabled 
是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。 			

(5)yarn.scheduler.minimum-allocation-mb 
单个任务可申请的最少物理内存量，默认是1024(MB)，如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。 	  

6)yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量，默认是8192(MB)。

CPU
1)yarn.nodemanager.resource.cpu-vcores
表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数 数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物 理CPU总数。

(2) yarn.scheduler.minimum-allocation-vcores
单个任务可申请的最小虚拟CPU个数，默认是1，如果一个任务申请的CPU个数少于该数，则该对应 的值改为这个数。

(3)yarn.scheduler.maximum-allocation-vcores
单个任务可申请的最多虚拟CPU个数，默认是32。 默认情况下，YARN是不会对CPU资源进行调度的，你需要配置相应的资源调度器。

Yarn的三种调度器：

FIFO Scheduler 
Capacity Scheduler
FairScheduler
先不做详解，之后补充

。。。。。。（待补充）