HDFS_01_Hadoop简介

HDFS 专栏收录该内容
6 篇文章 1 订阅

HDFS_01_Hadoop简介

持续更新大数据文章 …

本篇文章学的是 Hadoop 生态圈里面的 HDFS,HDFS 是解决大数据海量数据存储的技术。

1. Hadoop

1.1 为什么要学习Hadoop?

大数据是时代发展和技术进步的产物,Hadoop 只是一种处理大数据的技术手段。所以想要学习大数据就必须先学习 Hadoop !广义上来说,hadoop 指代大数据的一个生态圈,包括很多其他的软件。

大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。

Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构,是用 Java 语言开发的一个开源分布式计算平台,适合大数据的分布式存储和计算平台。

Hadoop 平台提供了分布式存储(HDFS)分布式计算(MapReduce)任务调度(YARN)对象存储(Ozone)组件支撑服务(Common)等技术

随着 Hadoop 的不断发展,基于 Hadoop 的大数据生态越发完善,目前包括 Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper 等组件陆续被开发出来,这些组件极大的丰富了 Hadoop 自身的应用。

学习大数据肯定需要学习Hadoop技术,Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。

Hadoop 学习之后,还得学习 Spark,它是一种与 Hadoop 相似的开源集群计算环境,拥有 Hadoop MapReduce 所具有的优点,Spark 是 MapReduce 的替代方案,而且兼容 HDFS、Hive,可融入Hadoop 的生态系统,以弥补 MapReduce 的不足。这是大数据技术学习的两大重点。

1.2 Hadoop历史

Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

在2003~2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。这两篇论文是GFS(Google File System)、MapReduce数据计算的方法。

Doug cutting 花费了自己的两年业余时间,将论文实现了出来,2008年1月,HADOOP成为Apache顶级项目。

在这里插入图片描述

1.3 Hadoop官网

​ 网址:http://hadoop.apache.org/

在这里插入图片描述

1.4 Hadoop Model

在这里插入图片描述

  • Hadoop Common:基础型功能
  • Hadoop Distributed File System:负责存放数据
  • Hadoop YARN:负责资源的调配
  • Hadoop MapReduce:大数据的计算框架
  • Hadoop Ozone:数据存放到仓库
  • Hadoop Submarine:机器学习引擎


下期讲解 HDFS_02_文件系统(DFS)......

  • 2
    点赞
  • 2
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值