- 博客(6)
- 收藏
- 关注
原创 YARN工作机制
2)工作机制详解 (0)Mr程序提交到客户端所在的节点。 (1)Yarnrunner向Resourcemanager申请一个Application。 (2)rm将该应用程序的资源路径返回给yarnrunner。 (3)该程序将运行所需资源提交到HDFS上。 (4)程序资源提交完毕后,申请运行mrAppMaster。 (5)RM将用户的请求初始化成一个task。 (6)其中一个NodeMan...
2021-12-10 19:39:53
1118
原创 统计学,机器学习,数据挖掘,深度学习之间的关系
统计学:统计学是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。统计学用到了大量的数学及其它学科的专业知识,其应用范围几乎覆盖了社会科学和自然科学的各个领域。机器学习:机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能核心,是使计算机具有智能的根本途径。数据挖掘:是一个跨
2021-11-03 19:42:26
767
原创 HDFS写数据流程
写数据流程:1.客户端通过调用,分布式文件系统对象中的Create创建一个文件。DistributedFileSystem会通过RPC调用的名称节点中的文件系统命名空间创建一个新文件。2.名称节点通过多种验证,确保请求客户端y拥有创建文件的权限,新的文件不存在文件系统中。当所有的验证通过时,名称节点就会创建一个新文件的记录。3.客户端调用FSDataOutputStearm的Write函数,向对应的文件写入数据4.当客户端开始写入数据时,DFSDataOutputStream会将文件分割,然
2021-10-31 21:01:03
105
原创 节点距离计算
记住一句话:节点距离=两个节点到达最近的共同祖先的距离总和(图片从网上找的课本上的,但是不会画)如图:1.在同一节点上,它们之间的距离当然是0,2*0=02.在同一机架上的不同节点,它们的共同祖先就是这个机架,而这两个节点到机架的距离都是1,所以这两个节点的距离为1+1=23.在同一集群的不同机架上的节点,它们的共同祖先是集群,而这两个节点要到达集群,首先要到这个机架(距离1),然后到达集群(距离2),所以两个节点的距离为2+2=44.在同一数据中心的不同集群上的节点,它们的共同祖先是
2021-10-26 21:44:03
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人