大数据导论作业
文章平均质量分 65
大数据一班姜春睿的作业
ChunRuii
21届大数据本科在读
展开
-
统计学,数据挖掘,机器学习和人工智能之间的区别及联系
统计学,数据挖掘,机器学习和人工智能之间的区别及联系首先,让我们来对这些学科进行大致的了解①:统计学统计学是在资料分析的基础上,自17世纪中叶产生并逐步发展起来的一门学科,它是研究如何测定、收集、整理、归纳和分析反应数据资料,一边给出正确信息的科学。统计学广泛的应用在各门科学,从自然科学、社会科学到人文科学,甚至被用来做工商业和政府的情报决策。随着大数据时代的来临,统计的面貌也逐步被改变,与信息、计算机等领域密切结合,是数据科学(Data Science)中的重要主轴之一。②:数据挖掘在当今大数据原创 2021-11-04 23:09:02 · 1658 阅读 · 0 评论 -
统计学,数据挖掘,机器学习和人工智能之间的区别及联系
统计学,数据挖掘,机器学习和人工智能之间的区别及联系首先,让我们来对这些学科进行大致的了解机器之心之前编译的一篇文章《人工智能、机器学习、深度学习,三者之间的同心圆关系》也对此问题进行了探讨①:统计学统计学是在资料分析的基础上,自17世纪中叶产生并逐步发展起来的一门学科,它是研究如何测定、收集、整理、归纳和分析反应数据资料,一边给出正确信息的科学。统计学广泛的应用在各门科学,从自然科学、社会科学到人文科学,甚至被用来做工商业和政府的情报决策。随着大数据时代的来临,统计的面貌也逐步被改变,与信息、计算原创 2021-11-04 23:05:23 · 1331 阅读 · 0 评论 -
HDFS中块(block)和切片(split)的区别
HDFS中块(block)和切片(split)的区别区别①:对比HDFS中数据的分块,块的大小默认为64M(或128M),同时产生了三个副本; 进行分片时先将块从分布式系统中取出,通过分片算法对块进行分片,片的单位就是块的大小(64M或128M)。区别②:block是在物理内存上进行存储的,真实存在于hdfs上的 而片(split)是虚拟内存上的储存,是逻辑上的“分片”,减少块的数量,便于后续读取。区别③:一个split只能属于一个文件,但是一个文件会被切成很多片原创 2021-11-02 23:49:24 · 1115 阅读 · 0 评论 -
HDFS节点距离计算
在HDFS写数据的过程中,NameNode会选择距离待上传最近距离的DataNode接收数据。最近距离的值为两个节点共同祖先的距离总和。机架感知第一个副本在客户端所处的节点上,如果客户端在节点外,随机选一个。第二个副本在另一个机架的随机一个节点上,位于和第一个节点相同的框架,框架中的随机节点。第三个副本位于相邻的随机机架里的随机节点对于以上机架感知,需要考虑的因素如下:1:对于第一个副本选择本地机架,距离近,上传速度快。2:第二个副本选择远程机架的随机节点,保证数据可靠性。3: 第三个副本原创 2021-11-02 19:15:38 · 483 阅读 · 0 评论 -
YARN工作机制
YARN工作机制首先,yarn作为2.0之后独立的资源调度平台(全称Yet Another Resource Negotiator),负责为运算程序提供服务器运算资源。相当于一个分布式的操作系统平台,而MapReduce等运算程序相当于运行于操作系统之上的应用程序。二类长期运行的守护进程提供核心服务①管理集群上资源使用一定资源管理器(RM)②运行在所有节点上可启动监控容器的节点管理器(NM)调度器:三种资源分配方式1.先进先出2.容量3.公平Yarn的构架及其工作状态如下:#mermaid-svg原创 2021-11-02 09:36:39 · 478 阅读 · 0 评论 -
HDFS读数据流程
HDFS读数据流程#mermaid-svg-icAIgWx2MZDolaPo .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-icAIgWx2MZDolaPo .label text{fill:#333}#mermaid-svg-icAIgWx2MZDolaPo .node rect,#mermaid-svg-原创 2021-10-29 16:45:00 · 228 阅读 · 0 评论 -
HDFS写数据流程
HDFS写数据流程#mermaid-svg-jfFpDCKGVsIL9kK0 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-jfFpDCKGVsIL9kK0 .label text{fill:#333}#mermaid-svg-jfFpDCKGVsIL9kK0 .node rect,#mermaid-svg-原创 2021-10-29 16:44:12 · 102 阅读 · 0 评论