![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 65
夏末_那场未盛开的梦
心有猛虎,细嗅蔷薇
展开
-
Yarn的应用场景与原理
Yarn的应用场景与原理Yarn产生的背景hadoop1.0不能满足多系统集成的背景孕育了yarn的产生。由于多分布式系统可以很好的集成,因此yarn的出现使得整个集群的运维成本大大降低。同时,yarn可以很好的利用集群资源,避免资源的浪费,除此之外,yarn的出现实现了集群的数据共享问题,不同的分布式计算框架可以实现数据的共享。总结来说为以下两点: 直接源于MR在几个方面的缺陷 -扩展性受限原创 2017-09-25 15:46:01 · 1663 阅读 · 0 评论 -
MapReduce2.0原理及基本架构
MapReduce2.0原理及基本架构MapReduce是Hadoop核心框架之一,我们知道Hadoop是又分布式文件系统HDFS和分布式计算框架组成。MapReduce就是一种离线数据计算框架。那么作为计算机框架的套路,会有输入经过处理后输出结构,MapReduce就是将任务分为两个阶段:Map阶段和Reduce阶段。每个阶段都是用键值对(key/value)作为输入(input)和输出(outp原创 2017-09-25 19:06:31 · 2146 阅读 · 0 评论 -
Hadoop生态系统架构
Hadoop生态系统架构学习的第二天,在能够运行hadoop wordcount示例后,开始深入了解hadoop的生态系统架构。hadoop发展历史大概了解一下hadoop的发展历史: Hadoop由 Apache Software Foundation 于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduc原创 2017-09-22 15:35:54 · 635 阅读 · 0 评论 -
Hadoop的环境搭建
Hadoop伪分布式环境搭建Hadoop是一个能够对大量数据进行分布式处理的软件框架,当下企业越来越流行,程序员必会的,掌握的一门技术。。。 环境准备: - JDK:jdk1.8 - hadoop:hadoop 2.8.0 - Ubuntu:Ubuntu 16.04JDK的安装与配置1.查看当前系统的jdk版本java -version 如果你的系统上已经安装jdk就不需要再进行安装了,如原创 2017-09-21 16:37:28 · 360 阅读 · 0 评论 -
使用Hadoop运行WorldCount示例
使用Hadoop运行WorldCount示例上一节中我们搭建好了Hadoop的运行环境,虽然还没开始学习Hadoop各个组件的框架原理,但是我先来通过hadoop运行自带的worldcount示例来熟悉一下它的操作流程。 1.首先找到hadoop自带worldcount jar包示例的路径: 2.准备工作,需要创建输入输出路径以及上传的文件: (1)创建目录 hadoop fs -mkdi原创 2017-09-21 19:52:46 · 7803 阅读 · 1 评论