Hadoop-请谈谈你对Hadoop的认识与理解

最新推荐文章于 2024-07-15 11:02:31 发布

糖潮丽子

最新推荐文章于 2024-07-15 11:02:31 发布

阅读量3.7k

点赞数 2

分类专栏：大数据文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/qq_39783601/article/details/104928348

版权

Hadoop是Apache的开源软件平台，专注于大数据分析处理。它包括HDFS、MapReduce和Yarn核心组件，构成了强大的分布式计算生态系统。HDFS提供高容错性的数据存储，而MapReduce则为大规模数据计算提供了模型。Yarn作为资源管理器，确保集群资源的有效分配。Hadoop在数据服务、用户画像、网站日志分析等方面有广泛应用。

摘要由CSDN通过智能技术生成

1、认识Hadoop

Hadoop是Apache旗下的一套开源软件平台。

Hadoop是用来分析和处理大数据的软件平台。

Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。

Hadoop的核心组件：HDFS、MapReduce、Yarn

广义上来说，Hadoop通常指的是指一个更广泛的概念->Hadoop生态圈。

云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助 IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业务模式，把强大的计算能力提供给终端用户。

现阶段，云计算的两大底层支撑技术为虚拟化和大数据技术。

HADOOP则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算本身。

HADOOP应用于数据服务基础平台建设。

HADOOP用于用户画像。

HADOOP用于网站点击流日志数据挖掘。