- 博客(2)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Crunch学习（二）
原理篇 数据管道Pipeline接口定义了Crunch中管道。MemPipeline，MRPipeline，SparkPipeline实现了Pipeline接口。public interface Pipeline { // 将数据读入集合类 <T> PCollection<T> read(Source<T> source); <K, V> PTable<K, V> read(TableS
2016-07-03 15:45:37
864
原创 Crunch 学习（一）
Crunch 提供一种Mapreduce顶层抽象，简化Mapreduce的创建，降低入门成本。Crunch的亮点在于：允许在不使用Mapreduce结构的情况下，使用java对Mapreduce管道进行建模；可以不必像使用Pig和Hive那样在编写UDF时强制使用自带的数据类型，而且Crunch不强迫程序员使用自带的类型系统。简单例子public class MaxTemperatureCrunch
2016-07-03 14:20:43
1631
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人