Spark DataSource表

一、什么是DataSource表
二、DataSource表的优势
三、DataSource表的缺点
四、建DataSource表方法
 

一、什么是DataSource表

Spark除了兼容Hive表之外，还支持datasource表。Spark针对Datasource表做了多项优化，读写性能较Hive表有非常大的提升。

二、DataSource表的优势

（1）写入文件方面：

DataSource表在文件写入阶段并不会挨个重命名小文件，而是直接将整个临时文件目录重命名为分区名后移动到对应位置，大大减少了rename操作时间，进而减少了任务执行的总时间，在HDFS压力比较大的时候，对任务的执行时间影响非常小。

而Spark在写Hive表时，如果小文件较多，会在rename小文件和分区的阶段耗费大量时间，如下所示：

 

可以看到IDE中显示的任务执行时间，比Spark UI中各stage实际执行的总时间要长，实际上多出来的长达几分钟的时间，是在将HDFS的临时文件rename到目标目录。 

如上图所示，在Spark将数据写入到Hive表的过程中，每个task产生的临时文件都将被写入到临时目录，而每一个临时文件都会被rename到目标HDFS目录下。小文件数量越多，该rename操作所花费的时间就越长。

（2）读取文件方面：

DataSource在读文件的时候会将小文件合并，提升读的效率。

三、DataSource表的缺点

（1）DataSource表无法用多线程写入同一个表的不同分区。

（2）创建Parquet格式表时，如果字段类型为数组，该字段不能有空值，否则读写时会报错。

四、建DataSource表方法

CREATE TABLE database.tablename (

`job_flow_name`            string                       ,

 ......

`statis_date`                   string          – 必须先定义分区字段

)

using parquet                           – SparkSQL内置格式都支持，如parquet、ORC等

partitioned by (statis_date);     – 这里不需要指定分区字段的类型

-------------------------------------------------------------------------------------------------------------------

根据查询建临时表：

CREATE TABLE tmpbase.tmpname 

using parquet as

select t1.xxxx,

           t2.xxx,

......

;

下图所示内容摘自右方链接中的《Spark权威指南》：

关注微信公众号【飞哥大数据】，回复666 获取2022年100+公司面试真题，以及spark与flink面试题汇总