- 博客(7)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 YARN中自己总结的几个关键点
以前在Hadoop 1.0中JobTracker主要完成两项功能：资源的管理和作业控制。在集群规模过大的场景下，JobTracker 存在以下不足： 1）JobTracker 单点故障。 2）JobTracker 承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如Storm、Spa rk、Flink 因此在YARN的设计中，资源的管理和作业控制是分...
2016-12-11 15:43:43
2235
原创 Flume应用场景及架构原理
Flume概念 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制[size=large]各类数据发送方[/size]，用于收集数据；同时，Flume提供对数据进行简单处理，并写到[size=large]各种数据接受方[/size]（可定制）的能力。 flume 特点： 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flu...
2016-12-10 18:53:58
418
原创 遍历Map的四种方法
[code="java"] public static void main(String[] args) { Map map = new HashMap(); map.put("1", "value1"); map.put("2", "value2"); map.put("3", "value3"); //第一种：普遍使用
2016-12-09 15:38:29
133
原创 zookeeper集群某个follower启动失败
配置完成zookeeper集群，发现有一个节点，进程正常但是状态异常 [img]http://dl2.iteye.com/upload/attachment/0121/8256/5d31e28b-19b6-3638-aa19-337d43671f1a.jpg[/img] 查看日志一开始进入歧途了，查看的是这个目录 [img]http://dl2.iteye.com/uploa...
2016-12-07 20:28:23
2739
原创 HDFS 和YARN HA 简介
HDFS： [img]http://dl2.iteye.com/upload/attachment/0121/8139/4bc1aec8-749d-35b2-87b4-83a9572d1c58.png[/img] 基础架构 1、NameNode（Master） 1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 ...
2016-12-07 13:34:14
191
原创 cdh集群数据恢复
CDH 数据库 磁盘坏了 所有集群配置 都没了 而且 还没备份 .... 元数据 还在 cdh 软件配置 和 安装软件 不能用了 下载 apache hadoop 重新配置 namenode datenode journode 加载以前的数据 读出来了 .. 强制了 namenode 主 把数据迁移到 其他节点 因为 重新 ...
2016-12-01 22:03:23
664
hadoop2.6 hadoop.dll、winutils.exe的文件
2018-07-09
海康威视视频监控android移动端调用
2014-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人