大数据导论作业
大数据导论作业
ningchen_
这个作者很懒,什么都没留下…
展开
-
第六次作业
原创 2021-11-04 15:27:06 · 104 阅读 · 0 评论 -
什么是统计学
统计学:是一种归纳,将一种普遍存在的事物进行观察,找到普遍存在的规律。原创 2021-11-04 15:21:35 · 194 阅读 · 0 评论 -
深度学习是什么
深度学习:是机器学习的一种,源于人工神经网络研究,通过组合低层特征形成更加抽象的高层表示类别或特征。它的研究建立在模拟人脑进行分析学习的神经网络,模仿人脑的机制来解释数据。...原创 2021-11-04 14:07:25 · 618 阅读 · 0 评论 -
什么是机器学习
机器学习:涉及多方面的领域,是对计算机的算法进行研究,从而改善算法性能。原创 2021-11-04 09:19:12 · 457 阅读 · 0 评论 -
什么是数据挖掘
数据挖掘:是一个过程,是先在数据库中找到有用的信息,进行分析,发现新的信息,用于各种场合。原创 2021-11-04 09:02:29 · 162 阅读 · 0 评论 -
yarn的工作流程
1.客户端向mapreduce提交任务,applications manager接收。2.applications manager分配资源。3.applications manager将任务和container分配给资源调度器。4.资源调度器将任务和containe分配给applications master。5.applications master将任务分解为maptask和reducetask。6.applications master将maptask和reducetask分配到nodema原创 2021-11-02 09:22:39 · 161 阅读 · 0 评论 -
节点距离计算
节点距离:;俩个节点到datanode最近距离的总合。d1/r1/n0到d1/r1/n0的距离为0。d1/r1/n0到d1/r1/n1的距离为2。d1/r1/n0到d1/r2/no的距离为4。d1/r1/n0到d2/r3/n0的距离为6。原创 2021-11-02 08:13:06 · 134 阅读 · 0 评论 -
hdfs写数据流程
1.客户端向namenode请求上传文件.2.检查文件是否存在.3.namenode返回客户端.4.客户端对数据切片.5.请求与datanode上传数据.6.datenode之间进行建立.7.datenode之间响应.8.在对客户端建立.9.客户端对datenode传数据.10.客户端接收datenode....原创 2021-10-31 23:01:28 · 50 阅读 · 0 评论 -
hdfs读数据流程
1.客户端先去namenode请求读取。2.namenode提供block的位置。3.客户端去相应的datenode寻找。4.从datenode读取数据。原创 2021-10-31 17:47:34 · 239 阅读 · 0 评论 -
HDFS的block和切片(split)的区别
概念:数据块:在hdfs中,由大文件分成的小文件称为数据块。数据切片:在mapreduce中,由大文件分为一段的文件。区别:大小相同但存在形式不同。原创 2021-10-30 20:56:28 · 111 阅读 · 0 评论