- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 HDFS 原理、架构与特性介绍
本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1：当前HDFS架构详尽分析HDFS架构1、NameNode2、DataNode3、Sencondary NameNode数据存储细节NameNode 目录结构Namenode 的目录结构： ${ dfs
2016-12-30 09:35:44
677
转载 【Hadoop】HDFS的运行原理
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。
2016-12-30 09:34:43
416
转载 Flink on Yarn部署
环境信息：Hadoop版本：2.6.0Flink版本：1.1.2 快速部署Flink on Yarn环境：比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1. 下载Flink的软件包，如flink-1.1.2-bin-hadoop26-scala_2.11.tgz（因为我的Hadoop集群版本为2.6.0
2016-12-21 10:47:00
1207
转载 storm on yarn 部署
1. 环境介绍1.1 节点与服务映射关系iphost服务192.168.40.132masterNamenode、NodeManager、DataNode、zookeeper192.168.40.133slave1ResurceManager、NodeManager、DataNode
2016-12-08 16:10:10
541
转载 hbase 0.98.9客户端的两个参数调优
公司的项目有用到hbase数据库，而我正好负责hbase客户端的接口代码编写工作；实际就是为hbase中的各个表，提供增，删，改，查的功能。 前段时间，同事对接口进行测试时，跟我反馈：在使用visualVM在查看线程运行状态时，发现hbase客户端的线程很多，具体干什么不清楚，但其中很多线程处于等待状态。起初，没时间就没在意。这段时间，功能差不多了，就也用visualvm来查看线程状态。
2016-12-05 15:32:50
727
转载 apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法
kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63 can't rebalance after 3 retriesat kafka.consumer.ZookeeperConsumer
2016-12-05 14:57:30
767
转载 Storm短暂的Worker脑裂之旅
Storm中supervisor控制着worker的生命周期，负责worker的启停。前端时间开发类似Storm中这样的一套系统时(worker和storm差别很大)脑裂的问题，supervisor负责启动一个worker，而最后上机器ps看到却有两个相同的worker，这两个相同的worker反复重启导致一堆奇怪的现象。Supervisor与WorkerStorm中，su
2016-12-02 15:56:14
685
转载 yarn架构 及 client提交任务过程讲解
先看个yarn的整体架构Client向RM提交任务的过程大致分为七步，先上图在解释：1. Client向RM发出请求2. RM返回一个ApplicationID作为回应3. Client向RM回应Application Submission Context（ASC）。ASC包括ApplicationID、user、queue，以及其他
2016-12-01 16:14:56
3085
转载 Hadoop 2.4.0和YARN的安装过程
摘要: Hadoop 2.2，2.3，2.4版本的安装都差不多。为了运行一个Hadoop程序，花了大半天部署环境，在这里特此记录安装过程，让以后少走弯路。Hadoop 2.x新特性 将Mapreduce框架升级到Apache YARN，YARN将Map reduce工作区分为两个：JobTracker组件：实现资源管理和任务JOB；计划/监视组件：划分到单独应用中。 使用Ma
2016-12-01 15:59:44
369
转载 yarn描述
问题导读：1、什么是yarn？2、Yarn 和MapReduce相比，它有什么特殊作用 ？背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修
2016-12-01 15:56:47
340
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人