关注
分享
人生偌只如初见
学历代表过去，财力代表现在，学习力代表将来，所见所闻改变一生，不知不觉断送一生。
展开
-
YARN ResourceManager调度器的分析
YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器，探讨三种调度器的设计侧重，最后给出一些配置建议和参数解释。名词解释：ResourceManager：以下简称RM。YARN的中控模块，负责统一规划资源的使用。NodeManager:以下简称NM。YARN的资源结点模块，负责启动管理container。Applicat转载 2014-10-28 12:48:41 · 1493 阅读 · 0 评论 -
YARN NodeManager 剖析
一 概述 NodeManager是运行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包括与ResourceManager保持通信，管理Container的生命周期、监控每个Container的资源使用(内存、CPU等）情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等。 NodeManager是YARN中单个节点的代理转载 2014-10-28 12:59:21 · 2797 阅读 · 0 评论 -
Tachyon学习笔记-安装部署与运行实例
Tachyon版本：tachyon-0.5.0-bin.tar.gz原创 2014-11-21 00:43:03 · 2176 阅读 · 1 评论 -
ES-Hadoop学习笔记-初识
ES-Hadoop是连接快速查询和大数据分析的桥梁，它能够无间隙的在Hadoop和ElasticSearch上移动数据。ES Hadoop索引Hadoop数据到Elasticsearch，充分利用其查询速度，大量聚合能力来使它比以往更快，同时可以使用HDFS作为Elasticsearch长期存档。ES-Hadoop可以本地集成Hadoop生态系统上的很多流行组件，比如Spark、Hive、Pig、原创 2016-06-27 00:30:23 · 15927 阅读 · 1 评论 -
Tez学习笔记-初识
Apache Tez是一个针对Hadoop数据处理应用程序的新分布式执行框架。Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统上是一个大量数据批处理平台。但是，有很多用例需要近乎实时的查询处理性能。还有一些工作则不原创 2017-01-21 15:42:38 · 7470 阅读 · 0 评论 -
Tez学习笔记-UI安装部署
相关版本tez使用版本：tez-0.8.4.tar.gztomcat使用版本：tomcat-8.0.36.tar.gzhadoop使用版本：hadoop-2.7.2.tar.gz修改HADOOP配置文件yarn-site.xml，添加以下内容 yarn.timeline-service.enabled true原创 2017-01-22 15:33:33 · 3039 阅读 · 1 评论