![](https://img-blog.csdnimg.cn/cb35790c228b4318b3b6dd9e66d3e797.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据导论作业
大数据导论作业
小巫…
WOLO THPH
展开
-
数据挖掘、统计学、机器学习、深度学习的关联
数据挖掘、统计学、机器学习的关联:数据挖掘可以认为是数据库技术与机器学习的交叉,它利用数据库技术来管理海量的数据,并利用机器学习和统计分析来进行数据分析。数据挖掘受到很多学科领域的影响,其中数据库、机器学习、统计学无疑影响最大。简单地说,数据库提供数据管理技术,机器学习和统计学提供数据分析技术。由于统计学界往往醉心于理论的优美而忽视实际的效用,因此,统计学界提供的很多技术通常都要在机器学习界进一步研究,变成有效的机器学习算法之后才能在进入数据挖掘领域。从这个意义上说,统计学主要是通过机器学习来对数据挖掘发原创 2021-11-04 23:07:28 · 733 阅读 · 1 评论 -
YARN的工作机制
YARN的工作机制用户使用客户端向 RM 提交一个任务job,同时指定提交到哪个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置,如果没有特别指定,则使用默认设置。RM 在收到任务提交的请求后,先根据资源和队列是否满足要求选择一个 NM,通知它启动一个特殊的 container,称为 ApplicationMaster(AM),后续流程由它发起。AM 向 RM 注册后根据自己任务的需要,向 RM 申请 container,包括数量、所需资源量、所在位置等因素。如果队列有足够资源,RM 会原创 2021-11-02 10:27:33 · 94 阅读 · 0 评论 -
Block(块)和Split(切片)区别
一个split 不会包含零点几或者几点几个block,一定是包涵大于等于一个整数个block。 一个split 不会包含两个File的block,不会跨越File边界。 split和block的关系是一对多的关系。 map tasks的个数是由split的长度决定的。...原创 2021-11-01 23:07:21 · 252 阅读 · 0 评论 -
节点距离计算
Distance(/d1/r1/n0,/d1/r1/n0)=0(同一个节点上的进程) Distance(/d1/r1/n0,/d1/r1/n2)=2(同一个机架上的不同节点) Distance(/d1/r2/n0,/d1/r3/n2)=4(同一个数据中心不同机架上的节点) Distance(/d1/r2/n1,/d2/r4/n1)=6(不同数据中心的节点)...原创 2021-11-01 17:50:29 · 116 阅读 · 0 评论 -
HDFS读数据流程
1.客户端和namenode进行通信查询元数据(block所在的datanode节点),找到block所在的datanode服务器2. 挑选一台datanode,请求建立连接(就近原则,然后随机),请求建立socket流 3. datanode开始发送数据(从磁盘里面读取数据放入流,以packet为单位来做校验) 4. 客户端以packet为单位接受,首先在本地缓冲,然后写入目标文件,后面的block追加合并到这个文件,最后合成最终需要的文件。...原创 2021-10-31 23:52:49 · 95 阅读 · 0 评论 -
HDFS写数据流程
客户端向NameNode请求向HDFS中写入数据。 然后NameNode会对发送请求的客户端进行权限检测,确认客户端权限有没有相同的文件。 如果上面的都通过了,那么就给客户端返回可以写数据的DataNode信息。 客户端和DataNode建立连接。 因为我们集群存储数据是以副本形式储存的,所以为了提高文件存储的安全性,会将数据复制多份通过管道传到其他DataNode中。各种管道建了。 等到数据都传完,客户端向NameNode发送完成写数据的消息。HDFS写数据流程图..原创 2021-10-31 22:47:49 · 124 阅读 · 0 评论