![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 88
LV_ZFG
这个作者很懒,什么都没留下…
展开
-
MapReduce详解
在了解了Hadoop的组建以及底层框架之后我们知道,Hadoop的底层是通过HDFS进行数据的存储,将数据存储到集群中然后调用其中的数据进行相应的计算,那么问题来了,谁来进行计算的操作呢?这个就是Hadoop的另外一个底层框架,也就是MapReduce,他在集群的作用就是负责进行数据的处理过程为什么要使用mapreduce呢?因为mapreduce的核心是将用户编写的业务逻辑代码和自带的默认组...原创 2018-08-09 15:27:18 · 177 阅读 · 0 评论 -
Hadoop核心架构(1)
在大数据的发展过程中,出现了一批专门应用与大数据的处理分析工具,如Hadoop,Hbase,Hive,Spark等,我们先从最基础的Hadoop开始进行介绍Hadoop是apache基金会下所开发的分布式基础架构,实现了一个分布式文件系统(HDFS),HDFS拥有高容错性、高可靠性、高扩展性、高效性、低成本的特性,可以让用户在不了解相关的底层源码的情况下,在廉价的机器上搭配一台完整的服务器进行...原创 2018-08-07 10:37:02 · 772 阅读 · 0 评论 -
Hadoop(2)--HDFS
Hadoop底层封装的的是HDFS和MapReduce两种框架在Hdfs中采用的是主从结构(Madter-slaver)就像领导和员工一样,领导负责整个公司的管理工作,而员工就负责向领导汇报工作以及完成领导分发的任务在HDFS中,NameNode(Master)就负责对整个集群中节点的管理以及维护文件系统树以及文件目录。而DataNode分布在不同的机架上,就像是员工分布在公司别的不同部门...原创 2018-08-08 11:05:48 · 317 阅读 · 0 评论