BehandTheTime的博客

转载 Cascading——针对Hadoop MapReduce的数据处理API

Cascading是一个新式的针对Hadoop clusters的数据处理API，它使用富于表现力的API来构建复杂的处理工作流，而不是直接实现Hadoop MapReduce的算法。 该处理API使开发者可以快速装配复杂的分布式流程，而无需“考虑”MapReduce。同时还可以基于流程之间的依赖及其它元数据信息来有效地进行调度。 Cascading API的核心概念是管道和流。所