本文详细介绍了Hadoop大数据平台的四个主要组件：存储层（包括HDFS、HBase、Kudu），数据管理层（如YARN、Kerberos），计算层（包括Spark、MapReduce等），以及中间件层（如Hive、Kafka、Flume）。通过实例展示了这些组件如何协同工作，服务于物联网、车联网、用户画像等场景，以及大数据在实时分析、离线处理、机器学习等领域的应用。
Hadoop是一个由Apache基金会所开发的分布式计算和存储架构。
说人话的通俗描述：
你在爱奇艺网站看过一次科幻片后，下次再登录爱奇艺，首页会把最新科幻动作片推送给你，目的是要向你多收点会员费。这背后的技术就是叫大数据的技术来自动判断你好什么口味的电影。
行业描述：
开源的分布式存储和计算框架，广泛用户海量数据的存储和处理，比如淘宝网的商品推送，爱奇艺视频的首页电影推送。
Hadoop的主要组件：
https://www.cnblogs.com/shijiaoyun/p/5778025.html
目前hadoop架构分为四层：
1、存储层，文件系统HDFS
2、数据管理层，YARN以及Sentry等
3、计算层，MapReduce、Impala、Spart等计算引擎
4、中间件层，MapReduce、Spart等计算引擎的高级封装及工具，如Hive、Pig、Mahout等等
【存
最低0.47元/天 解锁文章
2114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
