ningchen_的博客

原创 第六次作业

原创 什么是统计学

统计学：是一种归纳，将一种普遍存在的事物进行观察，找到普遍存在的规律。

原创 深度学习是什么

深度学习：是机器学习的一种，源于人工神经网络研究，通过组合低层特征形成更加抽象的高层表示类别或特征。它的研究建立在模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。 ...

原创 什么是机器学习

机器学习：涉及多方面的领域，是对计算机的算法进行研究，从而改善算法性能。

原创 什么是数据挖掘

数据挖掘：是一个过程，是先在数据库中找到有用的信息，进行分析，发现新的信息，用于各种场合。

原创 yarn的工作流程

1.客户端向mapreduce提交任务，applications manager接收。 2.applications manager分配资源。 3.applications manager将任务和container分配给资源调度器。 4.资源调度器将任务和containe分配给applications master。 5.applications master将任务分解为maptask和reducetask。 6.applications master将maptask和reducetask分配到nodema

原创 节点距离计算

节点距离：；俩个节点到datanode最近距离的总合。 d1/r1/n0到d1/r1/n0的距离为0。 d1/r1/n0到d1/r1/n1的距离为2。 d1/r1/n0到d1/r2/no的距离为4。 d1/r1/n0到d2/r3/n0的距离为6。

原创 hdfs写数据流程

1.客户端向namenode请求上传文件. 2.检查文件是否存在. 3.namenode返回客户端. 4.客户端对数据切片. 5.请求与datanode上传数据. 6.datenode之间进行建立. 7.datenode之间响应. 8.在对客户端建立. 9.客户端对datenode传数据. 10.客户端接收datenode. ...

原创 hdfs读数据流程

1.客户端先去namenode请求读取。 2.namenode提供block的位置。 3.客户端去相应的datenode寻找。 4.从datenode读取数据。

原创 HDFS的block和切片（split）的区别

概念： 数据块：在hdfs中，由大文件分成的小文件称为数据块。 数据切片：在mapreduce中，由大文件分为一段的文件。 区别： 大小相同但存在形式不同。