大数据
文章平均质量分 76
ajksdhajk
这个作者很懒,什么都没留下…
展开
-
mapreduce on yarn的工作流程
当client提交一个任务后,首先resourceManger(RM)来调度出一个container,这个container是在nodeManger(NM)运作的, client直接和这个container所在的NM进行通信,在这个container中启动applicationMaster(AM),启动成功之后,这个AM将全权负责此次任务的进度,失败原因(在一次job中只有一个A...原创 2016-05-21 14:40:33 · 590 阅读 · 0 评论 -
HDFS的运行原理,NameNode,DataNode,client介绍
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。(商用机) ③ ...原创 2016-03-18 16:46:27 · 876 阅读 · 0 评论 -
hadoop集群环境的搭建
hadoop集群环境的搭建 此处所用hadoop版本为2.5.2 可以从官网上下载 然后解压 我是解压在了/usr/hadoop 下 (目录随自己习惯) 设备 192.168.159.31 NameNode 192.168.159.32 DataNode 192.168.159.33 DataNode ==============...原创 2016-03-24 21:48:16 · 103 阅读 · 0 评论 -
DataNode启动失败解决
DataNode启动失败解决 第一步:查看日志 打开DataNode上的hadoop日志 在hadoop/logs下 查看类似于hadoop-root-datanode-node3.log 查看错误 在日志中会看到 类似于这样的错误Incompatible clusterIDs in /usr/hadoop/tmp/dfs/data: nameno...2016-03-25 15:42:38 · 336 阅读 · 0 评论 -
zookeeper环境的搭建,来实现namenode的高可用(HA)(第一篇)
zookeeper来实现namenode的高可用(HA)(第一篇,此篇讲解搭建zookeeper环境) 机器设备:为了叙述方面 采用nodeX的形式来表示主机名192.168.159.31(node1) Namenode 192.168.159.32(node2) zookeeper Datanode JN(JournalNo...2016-03-27 21:58:02 · 438 阅读 · 0 评论 -
利用zookeeper来实现namanode的高可用(HA)(第二篇)
利用zookeeper来实现namanode的高可用(HA)(第二篇,接上篇) 机器设备:为了叙述方面 采用nodeX的形式来表示主机名192.168.159.31(node1) Namenode 192.168.159.32(node2) zookeeper Datanode JN(JournalNode) ...2016-03-27 22:32:31 · 225 阅读 · 0 评论 -
zookeeper实现namenode的高可用(HA)(第三篇)
此篇的目的是怎么检错以及原理 192.168.159.31(node1) Namenode 192.168.159.32(node2) zookeeper Datanode JN(JournalNode) 192.168.159.33(node3) zookeeper Datanode JN 1...2016-03-27 22:54:39 · 1001 阅读 · 0 评论