实现一个外部数据源

最新推荐文章于 2021-04-13 18:01:57 发布

14yhuang

最新推荐文章于 2021-04-13 18:01:57 发布

阅读量686

点赞数

分类专栏：大数据知识文章标签：外部数据源

本文链接：https://blog.csdn.net/qq_36459386/article/details/85869605

版权

本文介绍了如何实现Spark外部数据源，主要涉及JDBCrelation和JDBCrelationprovider的模仿。JDBCrelationprovider作为用户与JDBCrelation之间的桥梁，用于解析用户参数。JDBCrelation则实现了数据的select、过滤和插入操作。此外，详细讲解了如何继承Baserelation、PrunedFilteredScan等接口以支持不同操作，并且提到了Utils.castTo方法在类型转换中的作用。最后，阐述了如何将实现的外部数据源提交到Spark执行。

摘要由CSDN通过智能技术生成

要定义一个外部数据源可以参考
JDBCrelation和JDBCrelationprovider。

JDBCrelation相当于用户可以使用里面的方法实现数据select，过滤和插入。

JDBCrelationprovider相当于用户和JDBCrelation的中转站，解析用户传入的参数。

JDBCrelationprovider

在这里插入图片描述 createrelation可以接受用户参数，调用JDBCrelation

模仿JDBCrelationprovider

package sql04.text

import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.sources.{BaseRelation, RelationProvider, SchemaRelationProvider}
import org.apache.spark.sql.types.StructType

//jdbcrelationprovider
//必须叫DefaultSource，不然调用报错
//schemarelationprovider可以让用户传入schema
class DefaultSource extends RelationProvider  with SchemaRelationProvider{

  def createRelation(
                      sqlContext: SQLContext,
                      parameters: Map[String, String],
                      schema: StructType): BaseRelation = {
    //读文件就要path
    val path = parameters.get("path")
    path match {
      case Some(x) => new TextDatasourceRelation(sqlContext, x, schema)
      case _ => throw new IllegalArgumentException("path is required for custom-text-datasource-api")

    }
  }


  override def createRelation(sqlContext: SQLContext, parameters: Map[String, String]): BaseRelation = {
        createRelation(sqlContext,parameters,null)

  }
}

这里继承的RelationProvider和SchemaRelationProvider区别在于，schemarelationprovider可以接受schema码。
在这里插入图片描述
注意，这里的类名要是DefaultSource。