- 博客(6)
- 收藏
- 关注
RSS订阅原创 YARN工作机制
2）工作机制详解 （0）Mr程序提交到客户端所在的节点。 （1）Yarnrunner向Resourcemanager申请一个Application。 （2）rm将该应用程序的资源路径返回给yarnrunner。 （3）该程序将运行所需资源提交到HDFS上。 （4）程序资源提交完毕后，申请运行mrAppMaster。 （5）RM将用户的请求初始化成一个task。 （6）其中一个NodeMan...
2021-12-10 19:39:53
1118
原创 统计学，机器学习，数据挖掘，深度学习之间的关系
统计学：统计学是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。统计学用到了大量的数学及其它学科的专业知识，其应用范围几乎覆盖了社会科学和自然科学的各个领域。机器学习：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能核心，是使计算机具有智能的根本途径。数据挖掘：是一个跨
2021-11-03 19:42:26
767
原创 HDFS写数据流程
写数据流程：1.客户端通过调用，分布式文件系统对象中的Create创建一个文件。DistributedFileSystem会通过RPC调用的名称节点中的文件系统命名空间创建一个新文件。2.名称节点通过多种验证，确保请求客户端y拥有创建文件的权限，新的文件不存在文件系统中。当所有的验证通过时，名称节点就会创建一个新文件的记录。3.客户端调用FSDataOutputStearm的Write函数，向对应的文件写入数据4.当客户端开始写入数据时，DFSDataOutputStream会将文件分割，然
2021-10-31 21:01:03
105
原创 节点距离计算
记住一句话：节点距离=两个节点到达最近的共同祖先的距离总和（图片从网上找的课本上的，但是不会画）如图：1.在同一节点上，它们之间的距离当然是0，2*0=02.在同一机架上的不同节点，它们的共同祖先就是这个机架，而这两个节点到机架的距离都是1，所以这两个节点的距离为1+1=23.在同一集群的不同机架上的节点，它们的共同祖先是集群，而这两个节点要到达集群，首先要到这个机架(距离1)，然后到达集群(距离2)，所以两个节点的距离为2+2=44.在同一数据中心的不同集群上的节点，它们的共同祖先是
2021-10-26 21:44:03
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人