Hadoop简介之望见数据湖

置顶贾斯汀玛尔斯

已于 2023-08-31 15:58:53 修改

阅读量2.5k

点赞数

分类专栏： hadoop 文章标签： hadoop big data

于 2020-09-28 15:09:37 首次发布

本文链接：https://blog.csdn.net/u011095039/article/details/108705985

版权

hadoop 专栏收录该内容

141 篇文章 13 订阅 ¥49.90 ¥99.00

订阅专栏

Hadoop是大数据处理的重要基石，从诞生之初为应对海量数据挑战，逐渐发展成为一个庞大的生态系统。Hadoop经历了从0.20.x到2.x再到3.x的版本迭代，提升了高可用性、扩展性和性能。Hadoop生态系统包括HDFS、MapReduce、YARN等组件，以及Hive、HBase等衍生项目，为大数据分析提供了全方位支持。随着数据湖概念的提出，Hadoop不再局限于批处理，而是融合更多实时分析和多样化存储技术，进一步推动大数据处理的发展。

摘要由CSDN通过智能技术生成

1 Hadoop概述

随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。
在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着中国科学技术的发展创新，如阿里巴巴和京东等国内电商平台、微博和微信等社交网络平台及其他数据信息行业积极搭建Hadoop大数据分布式计算平台，并对数据进行采集、处理和分析。
Hadoop使用的开发语言是Java，由文本搜索系统库（Lucene）的创始人道格·卡丁(Doug Cutting)创建。Hadoop是由Apache软件基金会支持的基础架构系统，而且还是对Google的文件系统 (Google File System，GFS)，MapReduce和Bigtable等核心技术开源实现的分布式计算平台。Hadoop框架的设计核心是MapReduce和分布式文件系统(Hadoop Distribute File System，HDFS)。
如图1-1所示，HDFS和

了解本专栏