实时查询
文章平均质量分 79
天街小雨入江南
简单的,诚实的享受平凡。让数据回归本质
展开
-
Apache Drill详解
Apache Drill 调研学习一、Drill概述在大数据时代,对于Hadoop中的信息,越来越多的用户需要能够获得快速且互动的分析方法。大数据面临的一个很大的问题是大多数分析查询都很缓慢且非交互式。目前来看,MapReduce通常用于执行Hadoop数据上的批处理分析,但并不适合于你想快速得到结果或者重新定义查询参数。Google的Dremel能以极快的速度处理网络规模的海量数据。据谷歌的研究报原创 2017-12-14 17:36:43 · 25377 阅读 · 2 评论 -
SparkStreaming读取kafka两种方式对比
SparkStreaming读取kafka两种方式对比Direct方式连接kafka数据不同于receiver方式,direct方式与kafka的partition一一对应,有多少个partition就有多少个rdd分区,offset以长整形变量的形式存在,不同应用各自维护自己的offset,默认是从最新数据开始读取。一,receiver方式读取这种方式使用Receiver来获取数...原创 2018-08-27 11:08:37 · 1169 阅读 · 0 评论