大数据和Hadoop什么关系？为什么大数据要学习Hadoop？

最新推荐文章于 2024-03-10 11:09:33 发布

hive888

最新推荐文章于 2024-03-10 11:09:33 发布

阅读量1k

点赞数

分类专栏：大数据文章标签：大数据大数据学习大数据开发大数据入门人工智能

本文链接：https://blog.csdn.net/hive888/article/details/90598852

版权

大数据涵盖数据采集、存储、分析等环节，与物联网、云计算紧密相连。Hadoop作为开源分布式计算平台，是大数据处理的重要工具，包括HDFS、MapReduce、YARN等组件。虽然大数据不等于Hadoop，但Hadoop在大数据技术体系中占据基础地位，适合初学者。学习Hadoop后，通常还会涉及Spark等技术，以提升大数据处理效率。

摘要由CSDN通过智能技术生成

大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。

广义上讲，大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。

Hadoop是目前被广泛使用的大数据平台，本身就是大数据平台研发人员的工作成果，Hadoop是目前比较常见的大数据支撑性平台，Hadoop平台提供了分布式存储（HDFS）、分布式计算（MapReduce）、任务调度（YARN）、对象存储（Ozone）和组件支撑服务（Common）。

随着Hadoop的不断发展，基于Hadoop的大数据生态越发完善，目前包括Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper等组件陆续被开发出来，这些组件极大的丰富了Hadoop自身的应用。加米谷大数据培训，6月大数据开发零基础班、提高班，成都小班面授，预报名中！随着组件的增多，Hadoop自身也越来越重，因此目前很多大数据工程师更愿意使用Spark，因为Spark更轻，基于内存速度也更快。

可以这样简单地理解：