crunch_值得一看的：Apache Crunch

crunch

在过去的几年中，Apache软件基金会已成为针对大数据项目的中心。 众多公司已经认识到在ASF上容纳其最新创新项目的价值，其中有Apache Hadoop和Apache Cassandra两个出色的例子。

Apache Crunch 是 到达Apache Incubator的众多项目之一 。 Crunch是一个Java库，旨在消除编写MapReduce管道的繁琐工作。 它 旨在掌握整个过程，使 编写，测试和运行MapReduce管道 更加 高效， 甚至“乐趣无穷”（如果 可以相信 此 Cloudera博客文章 ）。

像之前的许多类似项目一样，Crunch受到Google工作的启发，使用了他们2010年 FlumeJava 论文中的 概念 ，该论文探讨了数据并行管道的概念。 Crunch旨在使最需要的人（如今正在使用Hadoop的企业界）的管理变得更加容易。

Crunch背后的团队更进一步，在 Scrunch中 创建了与Scala相当的惯用Scala API ，尽管 当他们寻求专业的Scala提交 者时 ， 它仍然是Alpha版本 。

从谷歌纸将概念变成一个完全成熟的项目的想法已经被敲各地的超过12个月，如Cloudera的数据科学家 约什遗嘱详述 在2011年 这不只是Cloudera的龙头项目，虽然 10月，它背后的工作 ， 因为 关键来自不同Hadoop供应商的数据 也加入 了该计划，其中包括Hortonworks Arun Murthy，他还领导了MapReduce项目的发展方向。

此后， Crunch 已捐赠给 Apache软件基金会，并于今年5月开始孵化。 快进到今天，Crunch似乎显示出稳定的进展。 该文档 确实考虑了Crunch中的一些已知限制，特别是如何在依赖的MapReduce作业之间拆分处理任务。

但是，由于计划与表存储服务HCatalog进行无缝的读/写连接，因此我们认为这是光明的。 希望我们能在新的一年看到新的进展，因为Crunch暂时将孵化器驶向大门。 我们很可能还会看到其他JVM选项，例如JRuby和Clojure。 当它确实转义时，Java库可能是您需要的MapReduce管道解锁程序。

图片由Horia Varlan提供 。

翻译自: https://jaxenter.com/one-to-watch-apache-crunch-105132.html

crunch