bbinwang2的专栏

原创 Spark中External Datasource实现数据迁移

一、简介 1．技术说明 通过一套DataSource API的扩展机制，可以访问（读、写）外部的数据源。将外部数据源按照表的方式注册，提供sql查询、数据插入（insert）能力。将外部数据源读取为RDD，提供RDD的算子（group、where、agg）、ML能力。当前可以对接的外部数据源：JDBC、ElasticSearch等。 2．优点 n 将外部数据源纳入到spark的生态系统，如