Dxm234573-CSDN博客

原创统计学.机器学习.深度学习个人理解

<1>统计学1.定义：统计学是通过搜索，整理，分析数据，推断所测对象的本质。2.应用范围：涵盖了社会科学和自然科学的各个领域。3.统计方法：对资料进行模型数据化例如：Fisher最小显著查依法，学生t检验，回归分析，相关性，卡方分布等<2>机器学习1.定义：近代兴起的多交叉领域学科，涉及概率论，统计学等多门学科，机器学习主要是设计一些机器可以使用的算法，对未知数据进行预测。2.作用：提高机器的先进性，更好为人服务3.应用范围:数据挖掘，计算机视觉，，自然语

2021-11-03 19:32:50 1824

原创数据挖掘个人理解

<1>数据挖掘：1.通过对大量数据进行分析，从大量数据中发现一些客观规律，结论。2.主要有数据准备，规律寻找，规律表示3大步3.步骤：采集数据，采集相关技术，整合检查数据，去除错误数据，建立合适模型进行数据分析，进行数据挖掘工作，测试和验证挖掘结果，找到规律进行结果分析，实际运用。4.分析数据常用方法：分类，回归分析，聚类，关联规则，神经网络方法，Web数据挖掘5.常用工具：一般分析用的软件包（K-Miner，TipDm，GDM)，针对特定功能或产业研发的软件（KD1)，整合DS

2021-11-03 19:26:46 1289

原创节点距离计算

1.Distance(dl/rl/n0,/dl/rl/n0)=0(同一点上的进程）2.Distance(dl/r2/n0,dl/r3/n2)=4(同一数据中心不同机架上的节点）3.Distance(dl/rl/n1,/dl/rl/n2)=2(同一机架上的不同节点）4.Distance(/dl/r2/n1,/d2/r4/n1)=6(不同数据中心的节点）注：名称节点会选择与最近的一个数进行计算...

2021-11-01 23:29:44 124

原创 YARN的工作机制

<1>主要作用：强化控制和使用资源管理功能。<2>工作机制：1.MapReduce提交到客户端所在节点2.客户端向资源管理器提交申请，在将应用程序返回给客户端，将运行资源提交到HDFS上，提交完毕后申请运行。3.RM将用户的请求转换为任务，其中的一个名称节点领取到任务，这个名称节点建立容器。产生MRAppmaster4.容器从HDFS上复制资源.5.RM将任务平均分配给其他节点，并创建容器，MR在发送程序，继续进行。6.将所有任务运行完毕运行ReduceTas

2021-11-01 23:01:08 148

原创 HDFS的block和切片（split）的联系和区别

<1>联系:HDFS的block和切片（split）的大小相等。<2>区别：1.HDFS存储数据在数据节点上，block是数据节点储存数据的一个个单位2.split是把block切分而成的虚拟定义3.split是MapReduce的概念，是切片的概念，split是逻辑切片；而block是hdfs中的切块大小，block是物理切块注：split与block的大小相同是为了方便运输...

2021-11-01 22:31:51 1676

原创 HDFS读数据流程

1读取文件名称。2.向名称节点获取文件第一批数据块的位置。3.通过分布式文件系统调用数据来获取位置，数据块根据副本返回数返回对应数量的位置数4.获取距离clinet最近的数据节点建立通信，数据会源源不断的写入clinet,假设第一个数据块读写完成，则会进入下一个数据块，如果所有块读完，则数据流关闭5.如果读取中出现异常，则会先去优先读第二个位置的数据节点...

2021-11-01 22:01:35 74

原创 HDFS写数据流程

1~首先客户端通过分布式文件系统模块对名称节点进行请求，观察输出输入目录中有没有相应的文件,观察是否有权限进行，2~当名称节点检查目录对结果返回客户端，客户端向名称节点发布请求，名称节点创建文件，并将文件分成各数据块 3~设立3个数据节点，将数据节点的位置返回给客户端，4~客户端请求数据节点1上传数据，后再调用数据节点2和数据节点3。5~客户端上传完第一个数据块，客户端会再次请求名称节点，上传第二个数据块。6~当所有数据块全部写完数据节点会向客户端发出确认，客户端向名称节点发出结束，就成功储存了信息...

2021-10-26 20:58:46 91

Dxm234的博客