hadoop
. 钢筋
戒骄戒躁,欲速则不达
展开
-
Zookeeper底层源码原理分析(一)
1、zk是什么?它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、集群管理、分布式应用配置项的管理等。(1)、 zk是一个数据库其可以存数据, ls /(查看根节点) create /luban 123(创建数据节点,内容为123) get /luban(查询)zk中有临时节点,也有持久化节...原创 2020-05-06 09:47:47 · 472 阅读 · 0 评论 -
MapReduce原理
MapReduce分为两部分:map阶段和reduce阶段MapReduce优点:并行计算MapReduce的整个工作过程input:输入原始数据mapreduce框架:自动将每一行数据用行号来编成key(输入给map之前)map:输入给map是k–v,经过map的处理,将每一行单独转换成另外的k—v段(注:map输出的数据有很多重复的,并且没有被排序,不利于下一步的reduce处理...原创 2019-10-28 18:45:39 · 122 阅读 · 0 评论 -
HDFS分布式文件系统
1、简介Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。H...原创 2019-12-03 18:52:46 · 360 阅读 · 0 评论 -
浅谈yarn的运行原理
1、yarn的诞生在1.0版本之前没有yarn的,在2.0版本之后诞生了yarn,当然,每个系统的诞生都是人类有一定的需求诞生的。在2.0版本之前,hadoop集群只有HDFS和MapReduce,2.0版本之后才有的yarn。首先,1.0版本,人们遇到的最大的问题就是资源管理。随着技术的发展,人们已经不再满足只有MapRduce一个计算框架,所以诞生了其他计算框架(例如:spark,Mars...原创 2019-11-26 11:25:08 · 342 阅读 · 0 评论