spark写表指定外部表_Spark通过修改DataFrame的schema给表字段添加注释（转载）

1、需求背景

通过Spark将关系型数据库(以Oracle为例)的表同步的Hive表，要求用Spark建表，有字段注释的也要加上注释。Spark建表，有两种方法：

用Spark Sql，在程序里组建表语句，然后用Spark.sql("建表语句")建表，这种方法麻烦的地方在于你要读取Oracle表的详细的表结构信息，且要进行Oracle和Hive的字段类型进行一一对应

用DataFrame 的saveAsTable方法，这种方法如果对应的数据库里没有表，则Spark会根据DataFrame的schema自动建表，比较简单，不用考虑字段类型匹配转化问题，但是这种方法有一个问题，Spark读取Oracle的表为DataFrame时，并不能将表字段的注释读进来，所以就有了如标题所示的需求。(一开始以为DataFrame不能加注释，经过研究，发现是可以的！)

2、如何查看DataFrame是否有注释

前面讲到DataFrame里没有Oracle的注释信息，但是如果数据源为Hive的话，是可以将注释获取到的。

2.1 新建Hive测试表(带注释)

create table `test` (

`id`string comment 'ID',

`Name`string comment '名字')

comment'测试';

2.2 Spark读取hive表并打印注释(在spark-shell里执行)

首先看一下df