![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
走出去拍拍照
这个作者很懒,什么都没留下…
展开
-
分布式文件系统HDFS原理篇
所谓分布式文件系统就是通过网络实现文件在多台主机上进行分布式存储的文件系统!它一般采用“客户端/服务器端”的模。分布式文件系统的结构如下图所示,分布式文件系统在物理结构上是由计算机集群的多个节点构成的。这些节点分为主节点(Namenode,也叫做名称节点)和从节点(Datanode,也叫做数据节点)。其中主节点负责文件和目录的创建、删除和重命名等,同时管理着从节点和文件块的映射关系,因此客...原创 2019-05-26 03:10:01 · 5611 阅读 · 0 评论 -
MapReduce流程浅析
前言Hadoop是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce、分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout、flume等。这里,我们明确了MapReduce是一个分布式并行编程框架,它将复杂的、运行于大规模集群上的并行计算过程高度...原创 2019-06-01 17:00:32 · 905 阅读 · 0 评论