hadoop
文章平均质量分 83
hadoop学习
下雨天_____
擅长领域:智慧城市,信息安全,电信业务
展开
-
Hadoop_FileInputFormat分片
01. InputFormat和OutFormat1. 整个MapReduce组件InputFormat类和OutFormat类都是抽象类。可以实现文件系统的读写,数据库的读写,服务器端的读写。这样的设计,具有高内聚、低耦合的特点。2. 提交任务时,获取split切片信息的流程 JobSubmitter初始化submitterJobDir资源提交路径,是提交到HDFS保存...转载 2018-09-04 11:07:17 · 449 阅读 · 0 评论 -
初步掌握Yarn的架构及原理
1、YARN 是什么? 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看,MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性,内存消耗,线程模型,可靠性和性能上的缺陷。在过去的几年中,hadoop 开发团队做了一些 bug 的修复,但是这些修复的成本越来越高,这表明对原框架做出改变的难度越来越大。为从根本上解决旧M转载 2017-02-09 14:36:19 · 446 阅读 · 0 评论 -
图解mapreduce原理和执行过程
说明:下面的图来自南京大学计算机系黄宜华老师开设的mapreduce课程的课件,这里稍作整理和 总结。本文旨在对接触了mapreduce之后,但是对mapreduce的工作流程仍不是很清楚的人员,当然包括博主自己,希望与大家一起学习。mapreduce的原理MapReduce借鉴了函数式程序设计语言Lisp中的思想,Lisp(List processing)是一种列转载 2017-02-09 16:12:34 · 3302 阅读 · 0 评论 -
Hadoop2.6.0安装教程
当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hado转载 2017-08-16 15:04:57 · 1372 阅读 · 0 评论 -
Hadoop2.6集群安装配置教程
本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行转载 2017-08-16 17:59:19 · 523 阅读 · 0 评论 -
HDFS 和YARN 的HA原理
HDFS:基础架构1、NameNode(Master)1)命名空间管理:命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。2)块存储管理。使用Active NameNode,Standby NameNode 两个节点可以解决单点问题,两个节点通过JounalNode共享状态,通过ZKFC 选举Acti原创 2017-09-12 15:41:05 · 846 阅读 · 0 评论