Hadoop、Spark、Kylin...你知道大数据框架名字背后的故事吗？

最新推荐文章于 2022-04-18 13:27:00 发布

BAO7988

最新推荐文章于 2022-04-18 13:27:00 发布

阅读量468

点赞数

分类专栏：大数据文章标签：大数据大数据开发大数据分析 Hadoop spark

本文链接：https://blog.csdn.net/BAO7988/article/details/103646742

版权

本文揭示了大数据框架如Hadoop、Spark、Kafka等名字的由来，介绍了它们的创始人和背后的故事。Hadoop得名于创始人Doug Cutting的儿子的玩具大象，Spark源于验证Mesos集群管理框架的副产品，Kafka致敬了作家卡夫卡，而Kylin是中国主导的大数据神器。这些框架在大数据生态系统中各司其职，如Hadoop的分布式计算，Spark的高效处理，Kafka的消息传递，Hive的数据仓库，以及Druid和Kylin的OLAP分析。

摘要由CSDN通过智能技术生成

对软件命名并不是一件容易的事情，名字要朗朗上口，易于记忆，既不能天马行空，又要代表软件本身的功能和创新。本文将例数几款大数据框架及其创始背后的故事。

Hadoop：最具童心

2004年，Apache Hadoop（以下简称Hadoop）的创始人Doug Cutting和Mike Cafarella受MapReduce编程模型和Google File System等论文的启发，对论文中提及的思想进行了编程实现，Hadoop的名字来源于Doug Cutting儿子的玩具大象。当时Cutting的儿子刚刚两岁，正处在咿呀学语的阶段，经常将自己的黄色玩具大象叫做"Hadoop"，Cutting灵机一动，将自己的大数据项目以此来命名。

Hadoop、Spark、Kylin...你知道大数据框架名字背后的故事吗？

Cutting和玩具大象来源：cnbc

Cutting称，软件的名字有时候要听起来“毫无意义”，因为软件会随着时间不断迭代演进，一开始就使用一个与其初始功能紧密相关的名字，日后有可能比较尴尬。

由于Doug Cutting后来加入了雅虎，并在雅虎工作期间支持了大量Hadoop的研发工作，因此Hadoop也经常被认为是雅虎开源的一款大数据框架。已经为大家精心准备了大数据的系统学习资料，从Linux-Hadoop-spark-......，需要的小伙伴可以点击时至今日，Hadoop不仅仅是整个大数据领域的先行者和领导者，更形成了一套围绕Hadoop的生态系统，Hadoop和它的生态是绝大多数企业首选的大数据解决方案。