m0_63061877的博客

原创 2021-11-04

机器学习 深度学习1.机器学习：机器学习一系列在数据集上进行训练的算法，来做出预测或采取形同从而对系统进行优化。根据给定任务的不同，用到的技术也不同。机器学习是让机器让人类一样思考和推理，基本上而言是指通过人工的方法来代替人类天生的自然只能，涉及的任务从简单到复杂都有。2.深度学习：当算法被用于自动化时，就被称为人工智能，也就是深度学习。也有的人认为是带有更多层的神经网络（一种机器学习技术）3.深度学习是非常流行的一种机器学习机器学习 数据科学1.机器学习中的学习一词表示算法依.

原创 HDFS的block和切片（split）的区别

1.split是逻辑切片，是MapReduce里切片的概念， block是物理切片，是HDFS中切片的大小2.split的大小默认下等于block的大小3.block：文件被上传到HDFS是，会被分块，这是真实的物理上的划分，每块的大小可以设 split：他是逻辑意义上的split，用户根据自己处理的数据量的情况，自行设置4.split和block是一对多的关系1.当程序读取block0时，可以完整的读到第五行的完整数据2.block1的第四行数据被丢弃，直...

原创 YARN的工作机制

原创 节点距离的计算

节点距离=两个节点到达最近的共同祖先的距离之和1.同一节点，距离=02.同一机架不同节点，距离=23.同一集群不同机架上的节点，距离=44.同一数据中心不同集群上的节点，距离=6

原创 HDFS读数据流程

过程：1.客户端通过调用DFS系统对象中的Open()函数读取数据2.DFS通过调用名称节点确定请求文件所在的位置。（名称节点不会全部返回）3.客户端利用FSD的Read（）读取数据4.FSD连接保存此文件第一个数据块的最近的数据节点，并读取数据，客户端多次调用Read（），直到到达数据块结束位置5.第一个块读取完毕时，DFSD会关闭连接，并查找存储下一个数据节点6.完成所有文件的读取后，DFSD调用Close()函数关闭数据流...

原创 HDFS写数据流程

1.对文件采用“一次写多次读取”的模式2.过程： 1.客户端向名称节点请求写操作 2.名称节点确定客户端是否有权限以及有没有相同的文件正在写操作 3. 客户端对文件进行划分 4. 多个数据节点构成管道关系，以数据流的形式发送信息 5.每个数据流写完一个块儿会返回确认信息 6.完成数据写入操作后，关闭数据流...