ningchen_的博客

原创 第六次作业

原创 什么是统计学

统计学：是一种归纳，将一种普遍存在的事物进行观察，找到普遍存在的规律。

原创 深度学习是什么

深度学习：是机器学习的一种，源于人工神经网络研究，通过组合低层特征形成更加抽象的高层表示类别或特征。它的研究建立在模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。...

原创 什么是机器学习

机器学习：涉及多方面的领域，是对计算机的算法进行研究，从而改善算法性能。

原创 什么是数据挖掘

数据挖掘：是一个过程，是先在数据库中找到有用的信息，进行分析，发现新的信息，用于各种场合。

原创 yarn的工作流程

1.客户端向mapreduce提交任务，applications manager接收。2.applications manager分配资源。3.applications manager将任务和container分配给资源调度器。4.资源调度器将任务和containe分配给applications master。5.applications master将任务分解为maptask和reducetask。6.applications master将maptask和reducetask分配到nodema

原创 节点距离计算

节点距离：；俩个节点到datanode最近距离的总合。d1/r1/n0到d1/r1/n0的距离为0。d1/r1/n0到d1/r1/n1的距离为2。d1/r1/n0到d1/r2/no的距离为4。d1/r1/n0到d2/r3/n0的距离为6。

原创 hdfs写数据流程

1.客户端向namenode请求上传文件.2.检查文件是否存在.3.namenode返回客户端.4.客户端对数据切片.5.请求与datanode上传数据.6.datenode之间进行建立.7.datenode之间响应.8.在对客户端建立.9.客户端对datenode传数据.10.客户端接收datenode....

原创 hdfs读数据流程

1.客户端先去namenode请求读取。2.namenode提供block的位置。3.客户端去相应的datenode寻找。4.从datenode读取数据。

原创 HDFS的block和切片（split）的区别

概念：数据块：在hdfs中，由大文件分成的小文件称为数据块。数据切片：在mapreduce中，由大文件分为一段的文件。区别：大小相同但存在形式不同。