Calcite

1、概念官方Api 1.背景: Apache Calcite是面向Hadoop新的查询引擎,它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力,除此之外,Calcite还提供了OLAP和流处理的查询引擎。正是有了这些诸多特性,Calcite项目在Hadoop中越来越引入注目,并被众多...

2017-12-27 15:43:45

阅读数:1020

评论数:0

antlr4 部署到idea

1、Antlr4概念1、定义: Antlr是指可以根据输入自动生成语法树并可视化的显示出来的开源语法分析器。它允许我们定义识别字符流的词法规则和用于解释Token流的语法分析规则。然后,ANTLR将根据用户提供的语法文件自动生成相应的词法/语法分析器。 2、语法: 编写一个语法和编写一...

2017-12-26 10:33:49

阅读数:186

评论数:0

spark-kafka direct方式读取和receiver方式读取的区别

区别:Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式,可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列,Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这种方式使用Rec...

2017-12-22 09:46:25

阅读数:1050

评论数:0

scala学习高级篇一

1、implicit解释:隐式转换,可以改变方法的入参类型而不改变方法,举例说明如下: 用法一: def test(str: String): Int = { 12 }例如如上的方法,调用的时候,入参必须是string类型,否则就报错 println(test("12...

2017-12-08 15:15:16

阅读数:27

评论数:0

Spark基础学习一

1、RDD 基本概念:一个RDD就是一个分布式对象集合,本质上是一个只读的分区记录集合,每个RDD可以分成多个分区,每个分区就是一个数据集片段,并且一个RDD的不同分区可以被保存到集群中不同的节点上,从而可以在集群中的不同节点上进行并行计算。RDD提供了一种高度受限的共享内存模型,即RDD是只读...

2017-12-08 11:24:23

阅读数:39

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭