- 博客(6)
- 收藏
- 关注
RSS订阅原创 统计学，机器学习，深度学习和数控编程简介
统计学：统计学是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。统计学用到了大量的数学及其它学科的专业知识，其应用范围几乎覆盖了社会科学和自然科学的各个领域。机器学习：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能核心，是使计算机具有智能的根本途径。深度学习（人工神经网络的研究的
2021-11-08 23:45:31
2317
原创 YARN的工作机制
（1）提出工作 （2）YarnRunner向ResourceManager申请一个Application。 （3）RM将该应用程序的资源路径返回给YarnRunner。 （4）该程序将运行所需资源提交到HDFS上。 （5）程序资源提交完毕后，申请运行mrAppMaster。 （6）RM将用户的请求初始化成一个Task。 （7）其中一个NodeManager领取到Task任务。 （...
2021-11-01 23:10:14
81
原创 节点距离的计算
首先，让我们大概了解一个关系：节点的上一级是机架，机架的上一级是集群，集群的上一级是数据中心。在数据传输的时候，起点和终点都是节点，但是当他们所处的位置不同时，他们的传输数据的方式也会不同，假如向同一机架的两个不同的节点传输文件，他们的路径时这样的：节点1到机架到节点2换句话说，当节点之间传输数据时，他们需要一共同点来建立他们之间的联系，所以当量给节点之间关系越来越远时，节点之间的距离就越大，每一上下级之间的距离为一，在 同一节点上，它们之间的距离当然是0，2*0=0在 同一机架上的不同
2021-11-01 13:36:52
261
原创 HDFS的block和切片split区别
1.简单来说，split只是一个概念上的切片，他单单存在与虚拟之中，而block是物理上的分割，他将你储存的数据进行了分割。 2.为了MapReduce处理的时候减少由于split和block之间大小不一致,可能会完成多余的网络之间的传输split的大小在默认的情况下和HDFS的block切块大小一致, 3.Block；当我们把文件上传到HDFS时，文件会被分块，这个是真实物理上的划分。每块的大小可以通过hadoop-default.xml里配置选项进行设置。一般而言都是根据数据的...
2021-10-31 23:13:10
177
原创 HDFS读数据流程
准备工作1，首先客户端进入分布式文件系统去寻找数据块的位置利用得到的文集文件块位置来要求名称节点返还部分块这些返还的节点会按照HADOOP中关于集群拓扑来得出客户端的距离然后进行排序开始读取数据1客户端利用FSDataInputStream的Read()方法读取数据，FSDataInputStream保存第一个数据块最近的数据节点，并以数据流的方式读取，直到数据块结束位置2第一块读取结束后，FSDataInputStream关闭连接，开始寻找下一个距离客...
2021-10-30 22:50:26
773
原创 HDFS数据流程
1.在分布式文件系统中创建一个新的文件，同时确认客户端权限和是否存在相同文件（可以理解为在目录中的标题，分布式为目录，新文件为标题）2.文件创建成功后分布式文件系统返还客户端文件数据系统输出流来写入数据，数据与文件通过数据流对象DFSDataOutputStream连接(数据节点和名称节点的通信，类似与页数的作用，保持标题与内容之间的对应关系）3记录文件，将文件以文件块的方式通过文件流的方式往数据节点输入数据（写下主要内容）4数据块全部写完后，数据节点向客户端确认发出确认并由客户端向名称节点发出结束指
2021-10-26 22:29:46
839
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人