Hadoop用完了

大数据仍然很重要，但是事实却被它的前海报子代（Cloudera，Hortonworks和MapR）最近的绊脚石所掩盖。 曾经有数据的宠儿，能够筹集巨额现金-英特尔在一个投资回合中向Cloudera注入了7.66亿美元！-无论是通过合并（Cloudera和Hortonworks）还是砍头（MapR），重量级人物都被迫瘦下来。 。

同时，其他开源大数据供应商（例如Elastic和MongoDB）也在飞涨。 是什么赋予了？ 当然，有多种原因，其中包括以前的Hadoop供应商将赌注押在错误的受众上，即架构师绑定到数据中心，而市场却转向寻求在云中自由的开发人员。

[发现Bossie奖的获胜者：2018年企业最佳的开源软件，用于软件开发，机器学习，云计算以及数据存储和分析。 ]

大是相对的

MapR是在Hadoop上发财致富的供应商中的最新受害者。 曾经估值超过10亿美元的MapR最近透露，它必须裁员122名员工（约占其员工总数的25％），包括其首席执行官约翰·施罗德，其他高级管理人员和许多工程师，同时还要关闭其总部所在地，除非它可以找到投资者。

该投资者必须在6月14日之前签约，否则MapR的未来可能会黯淡。

但是，最近的过去也是如此。 根据LinkedIn的数据，在过去的两年中，MapR缩减了29％。 也不孤单。 在与Hortonworks合并后（大概是因为两家公司不能单独生存），Cloudera刚刚宣布了惊人的收益，预计收入将比分析师的预期少6900万至8900万美元。 同时，首席执行官汤姆·赖利（Tom Reilly）和CSO和联合创始人迈克·奥尔森（Mike Olson）均宣布辞职。

该股票Swift下跌了40％。

这些结果将更容易归因于现实，即重返大肆宣传的大数据世界，但是其他供应商也蓬勃发展，即使Hadoop的领头羊已经崩溃。 例如，MongoDB数据库的受欢迎程度一直在增长，现在（大约是Oracle和MySQL的受欢迎程度）（ 按各种指数衡量）大约是Oracle和MySQL的三分之一，而五年前仅为十分之一。 反过来，这种知名度又为这家同名公司带来了很多收入增长，最近这家公司的收入增长了78％。

同样，Elasticsearch分布式搜索和分析引擎背后的公司Elastic在去年将其员工人数增加了一倍，而最近一个季度的收入增长了70％。 公司已经开始使用Elastic进行传统的文本搜索，例如，斯坦斯特德机场（Stansted Airport）使用Elastic的工具来跟踪和可视化通过机场的人员和行李流量，从而提供实时分析。

这不是脚本应该被读取的方式。 像MongoDB和Elasticsearch之类的技术以及它们背后的公司，从来都不应该能够挑战Hadoop及其后代。 但是他们有。 为什么？

多云的预报

嗯，云是一个答案，但这是多方面响应的一部分。 正如Anaconda高级副总裁Mathew Lodge所写的那样 ，尽管Cloudera，Hortonworks和MapR拼命尝试从本地产品发展而来，AWS，Microsoft Azure和Google Cloud的云原生选项都密谋提供“完全集成的产品，较低的采购成本，并且规模更便宜。” 企业注意到。 再次，Hadoop供应商采取了尽可能快的行动来构建云服务，但是他们根本没有跟上云计算重竞争对手的步伐。

Hadoop延续了云计算的优势，尽管在当时具有革命性意义，但与云替代方案相比，其价格实在昂贵。 正如Clint Sharp指出的那样 ：“ Hadoop的主要主要用例一直是廉价存储。 [有了云]，存储价格都变得便宜了，S3 + EMR和其他服务的用户体验也好了1000倍。” 例如，Hadoop可能是传统专有数据仓库的绝佳替代品，但它远没有像基于云的Snowflake这样的更现代的方法那么好。

同时，云预示了处理数据的不同新方法。 这些本身并不是真正的替代品，但是像MongoDB或Elasticsearch一样，它们解决了与Hadoop相同的问题，但没有引起头脑麻木的困难。 正如MongoDB的Joe Drumgoole所说 ，“编写有效的分布式地图缩减算法非常困难，而且确实非常困难。” 更糟的是，Hadoop供应商争先恐后地在其Hadoop产品中添加了各种各样的开源插件（Impala！Pig！Hive！Flume！），发明了越来越繁琐的“解决方案堆栈”，直到最后，“没人知道。 一位观察家说，这些Hadoop公司所占的百分比”。

对于某些企业而言，在时间和精力上花费这笔费用是值得的。 但是，对于负责“完成工作”的开发人员，他们越来越多地选择了更直接的替代方案。

便利至上

对于Hadoop及其子代用户而言，开箱即用的体验很难看。 将此与MongoDB进行对比。 MongoDB前高管Kelly Stirman认为 MongoDB用户体验是关键的区别。 为何如此？ 汤姆·巴伯（Tom Barber）解释说 ：

[借助] MongoDB，您可以轻松地在一台服务器上进行apt install ，而不必为了使用可怕的VM而烦恼。 在生产中，您可以在一台服务器上运行它。 您无需编写一堆代码就可以将其连接到一堆东西。 人们想要数据库…。 MongoDB易于获取数据，也易于获取数据。

TimeScale DB CEO Ajay Kulkarni表示赞同，并补充说 ：

开发人员的爱[是MongoDB胜过Hadoop的原因]。 Mongo专注于首次用户体验。 众所周知，Hadoop很难运行。 [Hadoop供应商]为企业提供了不错的销售渠道，但没有开发人员的热爱，增长停滞了，市场蒸发了。

宣称开发人员的爱完全归功于MongoDB和Elastic在Cloudera和MapR上的成功是夸大其词，但这是一个真实的因素。

开发商Jake Kaldenbaugh解释说 ，他们开始将MongoDB“烘焙”到他们的现代应用程序中。 随着时间的流逝，将MongoDB推入不太关键的应用程序的开发人员将其迁移到了业务关键的应用程序，而MongoDB添加了功能（如多文档事务）以启用更复杂的用例，而又不会使其变得更加复杂。

那么，这把大数据的前巨人留在哪里呢？ Lodge提供的悼词：

在Cloudera和Hortonworks [和MapR]成为大数据世界的中心已有10年的历史了，重心已经转移到其他地方。 领先的云公司不运行Cloudera和Hortonworks的大型Hadoop / Spark集群，而是在容器基础架构之上运行分布式云规模的数据库和应用程序。 他们使用Python，R和其他非Java语言进行机器学习。 企业越来越多地转向类似的方法，因为他们希望获得相同的速度和规模效益。 是时候让Hadoop和Spark世界与时俱进了。

这是开源数据基础架构创新的福气和诅咒之一。 它以惊人的速度发生，并且某些供应商将在此过程中崩溃。

翻译自: https://www.infoworld.com/article/3400864/hadoop-runs-out-of-gas.html