spark 获取自定义参数_Spark原理图解：DataSource V1 API与自定义数据源

最近在做Spark的数据集成时，使用到了 spark.read.format("jdbc")，为了更好的对这部分进行调优和扩展，就需要对数据源的加载和原理有所了解。本篇会按照下面的部分来讲解下数据源相关的内容：

• DataSource的V1与V2
• DataSource V1 API执行原理
• 自定义V1数据源

1 DataSource的V1与V2

最初Spark的底层数据模型只有RDD，后来演化除了DataFrame，随着SQL化的支撑越来越多的API转向SQL，整个spark的重心也逐步往SQL方向偏移。在2.3以前数据源相关的API一般叫做V1 API，它以RDD为基础，向上扩展schema信息，形成DataFrame。之后的版本则是另一种实现思路，直接基于新的接口在DataFrame的思路上提供数据。这个暂且不谈，回头来重点说说V1 API。

V1 API中以RDD为核心，总共有三个关键点:

• DataRegister，标识是数据源服务类，Spark会以它来扫描实现类
• RelationProvider，标识是关系型的数据源，可以在Spark SQL中使用
• BaseRelation，描述DataFrame的Schema信息 。
• TableScan, 提供无参的数据扫描服务；Prun