- 博客(6)
- 收藏
- 关注
RSS订阅原创 机器学习 深度学习 数据挖掘 统计学
机器学习：机器学习（Machine Learning ）是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使其不断改善自身的性能，是人工智能技术的核心。基于数据的机器学习是现代智能技术中重要方法之一研究从观测数据出发寻找规律。机器学习是一门让计算机无需显示编程即可运行的科学，它帮助计算机从现有的数据中学习从而预测未来的行文、结果和趋势。深度学习（包含在机器学习中）：深度学习（Deep Learning ）是机器学习领域中的一个新的研究方向被引入机器学习的目标——
2021-11-04 21:50:09
440
原创 YARN工作机制
YARN工作机制1.用户使用客户端向 RM 提交一个任务，同时指定提交到哪个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置，如果没有特别指定，则使用默认设置。2.RM 在收到任务提交的请求后，先根据资源和队列是否满足要求选择一个NM，通知它启启动一个特殊的 container，称为 ApplicationMaster(AM)，后续流程由它发起。3.AM 向 RM 注册后根据自己任务的需要，向 RM 申请 container，包括数量、所需资源量 所在位置等因素。4.如果队列有足够资源，R
2021-11-03 23:12:52
111
原创 节点的距离运算
同一节点上距离=0.同一机架不同节点的距离=2(因为是在同一个机架，节点到机架的距离=1，所以1+1=2)同一集群的不同机架上的结点的距离=4.(因为在同一个集群中，每一个节点要到达集群的时候都要先从节点到机架(1步)机架到集群(1步))同一数据中心不同集群节点的距离=6.(节点–机架 1机架–集群 1集群–数据中心 1一个节点到数据库3步两个3+3=6)上面计算均为2个节点之的距离运算的结果。...
2021-11-03 08:57:17
147
原创 HDFS中的block和切片的区别
HDFS得block和切片（split）的区别block是HDFS在物理上把数据分成一块一块的存在磁盘中。HDFS的block很大，保存文件时小于block的文件不会占用一个block的空间。切片是在逻辑上对输入的数据进行分片，不会在磁盘上将切片存储。切片中一个文件即使小于切片也会占用一个切片的位置。...
2021-11-03 08:47:05
157
原创 HDFS读数据流
HDFS读数据流1.客户端向名称节点发出PCR请求，确定文件块所在的位置。2.名称节点会进行权限检查并选出每一个block所对应的主机列表。3.把所选出的block列表返回给客户端。4.客户端和每一个block所在的主机建立数据流管道。5.开始数据的读取。6.将读取完的block进行合并，合并成一个完整的文件。...
2021-11-02 20:44:20
81
原创 HDFS写数据流程
HDFS写数据流1.客户端发起文件上传请求，通过PCR与名称节点连接通讯。2.名称节点检查文件是否有上传权限（新的文件在文件系统中不存在 )。3.有权限上传时名称节点返回告知客户端允许上传。4.把文件分成几块（block1、block2、block3···）之后客户端向namenode申请传输block1。5.名称节点会通过集群中datanode上的block信息和机架感知，选出几个可以上传文件的主机。6.返回datanode列表。7.客户端和datanode之间会建立“数据流管道”关联。.
2021-10-31 17:04:26
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人