- 博客(6)
- 收藏
- 关注
RSS订阅原创 统计学 机器学习 数据挖掘 深度学习
统计学，机器学习 ， 数据挖掘， 深度学习 的关系统计学：使用统计方法的一种机器学习。机器学习：这是一门多领域交叉学科。它是人工智能核心，是使计算机具有智能的根本途径。专门研究计算机怎样模拟或实现人类的学习行为。深度学习：它是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标—就是人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像..
2021-11-04 23:38:01
672
1
原创 节点距离计算
节点距离计算节点距离指的是两个节点到达最近的共同祖先的距离总和。1.同一个节点上：两个节点的距离为零。2.同一机架上的不同节点：它们的共同祖先就是这个机架，机架到节点的距离都是1，所以两个节点的距离是2。3.同一集群的不同机架上的节点：它们的共同祖先是集群，所以它们先到机架因此距离是1，然后再到达集群因此距离是2，加起来就是4。4.同一数据中心的不同集群上：它们的共同祖是数据中心，所以要先达到机架，再是集群，最后是数据中心因此距离是3，两个节点的距离加起来就是6。...
2021-11-02 23:25:21
639
原创 YARN 的 工 作 机 制
YARN 的 工 作 机 制1.提交一个任务：客户端向RM提交一个任务，同时指定提交到哪个队列和需要多少资源。2.通知启动特殊container:RM在收到任务提交的请求后，选择一个NM，通知启动特殊container。 这个称为AM。后续流程由它发起。3.申请container:AM向RM注册后根据自己的任务需要，向RM申请container。4.分配container：RM会将container分配给有足够剩余资源的NM,然后由AM通知NM启动container。5.监...
2021-11-02 21:08:32
134
原创 HDFS 写 数 据 流 程
HDFS 写 数 据 流 程1.请求下载文件：客户端下载文件要向NameNode请求。（要看下载的文件有几个块，每个块的副本都放在哪个dn上。）2.返回目标文件的元数据：NameNode向客户端返回目标文件的元数据。3.请求读数据：客户端向dn1请求读blk1数据。4.传输数据：dn1向客户端传输相关数据。5.请求读数据：客户端向dn2请求读blk2数据。6.传输数据：dn2向客户端传输相关数据。...
2021-11-02 16:49:11
58
原创 HDFS读 数 据 流 程
HDFS读数据流程1.向NameNode发送写数据请求：Client上传数据时会和NameNode打交道，获取原数据信息。2.NameNode检查目录：一是检查目录是否存在，二是检查HDFS里是否有一样的文件。3.上传：检查后没问题NameNode给Client发生可以上传的信息。4.上传blk1:数据上传需要分块上传，所以Client先上传blk1。5.查询DataNode信息：NameNode一是查询datanode是活跃的，二是查询哪个上面的datanode空间足够。6.表示可
2021-10-26 22:21:56
802
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人