Spark中External Datasource实现数据迁移
一、简介
1.技术说明
通过一套DataSource API的扩展机制,可以访问(读、写)外部的数据源。将外部数据源按照表的方式注册,提供sql查询、数据插入(insert)能力。将外部数据源读取为RDD,提供RDD的算子(group、where、agg)、ML能力。当前可以对接的外部数据源:JDBC、ElasticSearch等。
2.优点
n 将外部数据源纳入到spark的生态系统,如
原创
2017-06-09 00:21:37 ·
1357 阅读 ·
0 评论