- 博客(6)
- 收藏
- 关注
RSS订阅原创 数据挖掘，机械学习，深度学习的区别
数据挖掘：也就是data mining，是一个很宽泛的概念。字面意思就是从成吨的数据里面挖掘有用的信息。这个工作BI（商业智能）可以做，数据分析可以做，甚至市场运营也可以做。你用excel分析分析数据，发现了一些有用的信息，然后这些信息可以指导你的。机器学习：machine learning，是计算机科学和统计学的交叉学科，基本目标是学习一个x->y的函数（映射），来做分类或者回归的工作。之所以经常和数据挖掘合在一起讲是因为现在好多数据挖掘的工作是通过机器学习提供的算法工具实现的，例如广告的ct..
2021-11-04 21:45:35
352
原创 HDFS和block和切片的区别
1，数据块block；是HDFS物理数据块，一个文件丢到HDFS上，会被HDFS切分成指定大小的数据块。即block。2.数据切片；数据切片是逻辑概念，只是程序在输入数据时的时候对数据进行标记。不会实际切分磁盘数据。3，一个Job的Map阶段并行度，也就是Mapper的数量是由提交Job时数据的切片数量决定的。4，每一个Splitsize=Blocksize。5，Split是逻辑意义上的split。 通常在 M/R 程序或者其他数据处理技术上用到。根据你处理的数据量的情况，split siz
2021-11-02 18:09:27
129
原创 YARN的工作机制
YARN通过两类长期运行的守护进程提供自己的核心服务。1，管理集群上的资源使用资源管理武器。2，工作机制运行在集群中所有节点上且能够启动和监控容器的节点容器管理。（1）程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application。 （3）将该应用程序的资源路径返回给YarnRunner。 （4）该程序将运行所需资源提交到HDFS上。 （5）程序资源提交完毕后，申请运行mrAp...
2021-11-02 17:36:45
138
原创 节点距离计算
Hadoop集群中两个节点之间的距离需要处理海量数据时，节点之间的数据传输能力就成为了最明显的限制因素——带宽是一种非常稀缺的资源。因此，使用两个节点之间的带宽作为他们之间距离的度量应该是一个非常棒的思路。但是，想要度量出两个节点之间真实的带宽却非常难以实现。因为这需要集群中所有节点都直接相连，节点之间的网线连接数量将是节点数量的平方。因此，Hadoop采用了一个相对简单的近似方法，即使用两个节点之间的跳数来代表节点之间的距离。跳数就是两个节点之间的线缆的段数。Hadoop将整个集群理解为树形结构，树的每
2021-11-02 17:23:52
315
原创 HDFS读数据流
HDFS采用的文件读取模式是“一个文件一旦创建，写入，关闭之后就不能修改”，保证了数据的一致性，并能够实现数据访问高吞吐量。客户端读取数据时要经过以下过程。1.客户端通过调用分布式文件系统对象中的Open函数来读取它所需要的数据。2.Distributed File System会通过RPC协议调用名称节点来确定请求文件块所在的位置。这里需要注意的是，名称节点只会返回调用文件中开始的几个块而不是全部返回，这些返回的数据节点会按照Hadoop定义的集群拓扑结构得出的客户端的距离，然后再进行排序。D
2021-11-01 17:19:29
188
原创 HDFS写数据流程
文字解释大部分的HDFS程序对文件操作采用的是“一次写多次读取”的模式。写数据时的过程；1.客户端通过调用，分布式文件系统对象中的Create创建一个文件。DistributedFileSystem会通过RPC调用的名称节点中的文件系统命名空间创建一个新文件。2.名称节点通过多种验证，确保请求客户端y拥有创建文件的权限，新的文件不存在文件系统中。当所有的验证通过时，名称节点就会创建一个新文件的记录。如果创建失败，则分布式文件系统返回一个文件系统数据输出流给客户端用来写数据。这时FSDataO
2021-10-30 23:25:33
210
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人