Spark SQL之External DataSource外部数据源(一)示例

本文介绍了Spark SQL从1.2版本开始支持外部数据源的功能,包括如何使用SQL方式和API方式创建临时表,以json为例展示了创建和查询过程。Spark SQL提供了CREATE TEMPORARY TABLE USING OPTIONS的DDL语法,并开放了接口,便于与多种数据源如avro, csv, parquet, json等集成。" 19070961,1327051,Java获取文件及目录大小,"['Java', '文件操作', '目录操作', '文件系统']
摘要由CSDN通过智能技术生成

一、Spark SQL External DataSource简介

  随着Spark1.2的发布,Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现。

  这使得Spark SQL支持了更多的类型数据源,如json, parquet, avro, csv格式。只要我们愿意,我们可以开发出任意的外部数据源来连接到Spark SQL。之前大家说的支持HBASE,Cassandra都可以用外部数据源的方式来实现无缝集成。 

 (Ps: 关于External Datasource源码解析篇请移步至:Spark SQL之External DataSource外部数据源(二)源码分析 http://blog.csdn.net/oopsoom/article/details/42064075

二、External DataSource

  拿Spark1.2的json为例,它支持已经改为了实现了外部数据源的接口方式。所以除了先前我们操作json的API,又多了一种DDL创建外部数据源的方式。 

  parquetFile的操作方式也如下类似,就不一一列举了。

2.1 SQL方式 CREATE TEMPORARY TABLE USING OPTIONS

在Spark1.2之后,支持了一种CREATE TEMPORARY TABLE USING OPTIONS的DDL语法来创建

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值