hadoop
文章平均质量分 77
yo8237233
这个作者很懒,什么都没留下…
展开
-
org.apache.hadoop.ipc.RemoteException(java.io.IOException)
昨晚突然之间mr跑步起来了jps查看 进程都在的,但是在reduce任务跑了85%的时候会抛异常异常情况如下:[code="java"]2016-09-21 21:32:28,538 INFO [org.apache.hadoop.mapreduce.Job] - map 100% reduce 84%2016-09-21 21:32:30,623 INFO [org.a...原创 2016-09-22 15:38:28 · 1203 阅读 · 0 评论 -
Flume应用场景及架构原理
Flume概念Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制[size=large]各类数据发送方[/size],用于收集数据;同时,Flume提供对数据进行简单处理,并写到[size=large]各种数据接受方[/size](可定制)的能力。flume 特点:1、可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flu...原创 2016-12-10 18:53:58 · 418 阅读 · 0 评论 -
zookeeper集群某个follower启动失败
配置完成zookeeper集群,发现有一个节点,进程正常但是状态异常[img]http://dl2.iteye.com/upload/attachment/0121/8256/5d31e28b-19b6-3638-aa19-337d43671f1a.jpg[/img]查看日志一开始进入歧途了,查看的是这个目录[img]http://dl2.iteye.com/uploa...原创 2016-12-07 20:28:23 · 2739 阅读 · 0 评论 -
HDFS 和YARN HA 简介
HDFS:[img]http://dl2.iteye.com/upload/attachment/0121/8139/4bc1aec8-749d-35b2-87b4-83a9572d1c58.png[/img]基础架构1、NameNode(Master)1)命名空间管理:命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。...原创 2016-12-07 13:34:14 · 191 阅读 · 0 评论 -
cdh集群数据恢复
CDH 数据库 磁盘坏了 所有集群配置 都没了 而且 还没备份 .... 元数据 还在 cdh 软件配置 和 安装软件 不能用了下载 apache hadoop 重新配置 namenode datenode journode 加载以前的数据 读出来了 ..强制了 namenode 主 把数据迁移到 其他节点 因为 重新 ...原创 2016-12-01 22:03:23 · 664 阅读 · 0 评论 -
mapreduce流程中的几个关键点
MapReduce中数据流动 (1)最简单的过程: map - reduce (2)定制了partitioner以将map的结果送往指定reducer的过程: map - partition - reduce (3)增加了在本地先进性一次reduce(优化)过程: map - combin(本地reduce) - partition -reducemap函数的处理...原创 2016-11-12 20:46:04 · 330 阅读 · 0 评论 -
MapReduce二次排序
默认情况下,Map 输出的结果会对 Key 进行默认的排序,但是有时候需要对 Key 排序的同时再对 Value 进行排序,这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。二次排序原理 我们把二次排序主要分为以下几个阶段。Map 起始阶段 在Map阶段,使用 job.setInputFormatClass() 定义的 Inpu...原创 2016-11-07 14:51:05 · 2462 阅读 · 0 评论 -
Hadoop自定义分组Group
matadata:[code="java"]hadoop a spark a hive a hbase a tachyon a storm a redis a [/code]自定义分组[code="java"]import org.apache.hadoop.conf.Configuration;impo...原创 2016-11-07 12:35:48 · 349 阅读 · 0 评论 -
编译hadoop2.6.0
具体情况比较曲折:hadoop2.6.0编译不过错误如下:[img]http://dl2.iteye.com/upload/attachment/0120/9044/7f4f4d5e-4cc6-375a-8820-57bfb914e901.png[/img]这个kms模块始终编译不过,最后得出结论国内的aliyun maven仓库有问题,在编译hadoop2.2.0 可...原创 2016-10-29 23:24:00 · 123 阅读 · 0 评论 -
ERROR [org.apache.hadoop.security.UserGroupInformation] - PriviledgedActionExcep
换了个环境,出现此异常016-10-18 23:54:01,334 WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2016-10-18 2...原创 2016-10-20 10:23:33 · 1437 阅读 · 0 评论 -
YARN中自己总结的几个关键点
以前在Hadoop 1.0中JobTracker主要完成两项功能:资源的管理和作业控制。在集群规模过大的场景下,JobTracker存在以下不足:1)JobTracker 单点故障。2)JobTracker 承受的访问压力大,影响系统的扩展性。3)不支持MapReduce之外的计算框架,比如Storm、Spa rk、Flink因此在YARN的设计中,资源的管理和作业控制是分...原创 2016-12-11 15:43:43 · 2235 阅读 · 0 评论