hadoop
文章平均质量分 75
柯南爱上指针
·
展开
-
HA高可用配置详解
转载:点击打开链接1 Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况:一是NameNode机器宕机,将导致集群不可用,重启NameNode之后才可使用;二是计划内的...转载 2018-06-03 15:33:58 · 4885 阅读 · 0 评论 -
MapReduce中shuffle和排序(转)
我觉得这篇博客写的很好,hadoop权威指南没有讲清楚的、没看懂的这个上面都讲的很详细,收藏一下!点击打开原文MapReduce简介在Hadoop MapReduce中,框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处理了所有问题,并提供了很多配置项及扩展点。一个MapReduce的大致数据流如下图:...转载 2018-06-12 19:19:51 · 2410 阅读 · 0 评论 -
Map输入切片和记录的过程
MapReduce在执行map()函数之前,还做了大量的工作,例如数据的切片,将切片生成键值对传给map()函数等等,在执行map()之前做了很多的事情,今天就记录一下输入数据的切片和记录。(tips:由于也是刚刚学,看了权威指南,分享一下心得,有什么问题希望大家指正) 1、简单介绍一下切片,记录以及map()方法之间的联系 一个输入的切片(split)就是一个...原创 2018-06-14 22:11:57 · 925 阅读 · 0 评论 -
kafka的分布式安装
0、选择mini1、mini2、mini3三台主机安装kafka,以及kafka的安装包 kafka_2.11-0.10.0.1.tgz1、准备zookeeper略2、jdk安装略3、上传文件到集群上略4、解压到 /usr/local/kafka ,并且分发到其他两台机器上去#解压文件tar -zxvf kafka_2.11-0.10.0.1.tgz ...原创 2018-07-29 20:41:36 · 204 阅读 · 0 评论