Hadoop家族
_VioletHan_
这个作者很懒,什么都没留下…
展开
-
MapReduce介绍
Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型,又是一个计算框架。也就是说,开发人员必须基于MapoReduce编程模型进行编程开发,然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。我们先看一下作为编程模型的MapReduce。 MapReduce编程模型 MapReduce是一种非常简单又非常强大的编程模型。 简单在于其编...转载 2019-12-07 10:26:57 · 239 阅读 · 0 评论 -
Azkaban:使用篇
简介 Azkaban是在Linkedln上创建的用于运行Hadoop作业的批处理工作流作业调度系统。通过作业之间的依赖性完成工作流程,并可以提供易于使用的web用户界面来维护和跟踪用户的工作流程。 特点 与任何版本的Hadoop兼容(oozie依赖于Hadoop版本) 易于使用的Web UI界面(oozie的Web界面功能较少) Web界面支持工作流上传操作(oozie界面没有) 工作流定时调度...翻译 2019-12-07 10:26:21 · 1591 阅读 · 0 评论 -
hadoop文件系统HDFS
是什么? Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。有一定高度的容錯性,而且提供了高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS是海量数据存储解决方案 HDFS设计之初就是针对超大文件的存储的,小文件不会提高访问和存储速度,反而会降低;其次它采用了最高效的访问模式,也就是经常说的流式数据访问,特点就是一次写入多次读取;再有就是它运...原创 2019-12-05 22:14:40 · 363 阅读 · 0 评论