大数据
文章平均质量分 74
flying___bird
虚心潜心,勿忘初心。
展开
-
HDFS学习笔记(一)
HDFS:Hardoop Distributed File System,即Hardoop分布式文件存储系统。 HDFS主要有两个重要节点:NameNode和DataNode。前者叫元数据节点,承担Master管理者的角色,维护了一个HDFS的目录树以及HDFS目录结构与真实文件存储位置的映射关系。后者叫数据节点,承担Worker的角色,负责接收和管理block数据块。 HDF...原创 2018-04-08 22:39:41 · 244 阅读 · 0 评论 -
大数据学习——MapReduce
最近在自己学习大数据相关的东西,前两天学习了HDFS的相关理论,今天看了一下MapReduce和Hardoop概念。看完了之后,忽然感觉他们之间好像有一个什么东西串联着,但是由于初学,一时又弄不懂他们直接的关系。包括今天看的MapReduce中一些点也是不解,在百度和论坛看优秀前辈写的东西后,记录一点自己的收获,以后希望自己的疑点一层层拨开,不喜勿喷。 首先,说一下Hardoop,H...转载 2018-04-11 23:01:44 · 195 阅读 · 0 评论 -
JobTracker和TaskTracker
之前对JobTracker和TaskTracker有一个初步的了解,今天特地仔细的了解了一下。 Hadoop MapReduce采用Master/Slave结构。Master,是整个集群的唯一的全局管理者,功能包括:作业管理、状态监控和任务调度等,即MapReduce中的JobTracker。Slave,负责任务的执行和任务状态的回报,即MapReduce中的TaskTracker。...原创 2018-04-17 23:27:00 · 2198 阅读 · 0 评论 -
大数据学习——Yarn
一.Yarn的介绍 Yarn是Hardoop集群的资源管理系统,是Hardoop2.0对MapReduce框架做的设计重构,我们称Hardoop2.0中的MapReduce为MRv2或者Yarn。在Hardoop1.0中MapReduce主要包括两个部分:1.ResourceManagement——资源管理;2.JobScheduling/JobMonitoring——任务调度监控。...原创 2018-04-23 22:46:46 · 366 阅读 · 0 评论