- 博客(3)
- 收藏
- 关注
RSS订阅原创 概述及体系结构
一、HDFS体系结构与基本概念我们通过Hadoop shell 上传的文件是存放在DataNode 的 block 中，通过Linux shell 是看不到文件的，只能看到block。可以一句话描述HDFS：把客户端的大文件存放在很多节点的数据块中。在这里，出现了三个关键词：文件、节点、数据块。HDFS 就是围绕着这三个关键词设计的，HDFS：负责数据的
2016-09-27 18:01:52
265
原创 hadoop调度器
1:默认调度器 :FIFO这个调度器的特点是先进先出,英文名是first in first out,所有任务提交到一个队列里面,然后由jobtracker 按照作业的优先级高低及提交顺序 执行HOD调度器: 此调度器的原理是一个hadoop物理机群中,分割出好多虚拟的hadoop集群,然后一个job跑一个虚拟机群 完整地流程是: 1:用户想HOD调度器申请一个包含
2016-09-27 17:56:55
851
原创 Ganglia 详细安装配置教程
Ganglia 详细安装配置教程 Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Gangli
2016-05-12 00:01:19
825
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人