Spark通过修改DataFrame的schema给表字段添加注释

已于 2022-08-04 16:23:32 修改
阅读量7.9k 收藏 8
点赞数 1
分类专栏： DataFrame Spark 文章标签： spark hive big data
于 2018-09-03 13:41:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/82347513
版权
本文探讨了在Spark中如何处理DataFrame字段注释的问题。通过分析需求背景，展示了查看DataFrame是否包含注释的方法，以及从Oracle和Hive读取表时如何处理注释。文章详细解释了如何给DataFrame添加注释，并测试了写入Hive表时注释是否成功保留。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

1、需求背景

通过Spark将关系型数据库（以Oracle为例）的表同步的Hive表，要求用Spark建表，有字段注释的也要加上注释。Spark建表，有两种方法：

  • 用Spark Sql，在程序里组建表语句，然后用Spark.sql(“建表语句”)建表，这种方法麻烦的地方在于你要读取Oracle表的详细的表结构信息，且要进行Oracle和Hive的字段类型进行一一对应
  • 用DataFrame 的saveAsTable方法，这种方法如果对应的数据库里没有表，则Spark会根据DataFrame的schema自动建表，比较简单，不用考虑字段类型匹配转化问题，但是这种方法有一个问题，Spark读取Oracle的表为DataFrame时，并不能将表字段的注释读进来，所以就有了如标题所示的需求。（一开始以为DataFrame不能加注释，经过研究，发现是可以的！）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
spark schema 转换
yy的博客
02-03 186
scala spark schema
向Spark的DataFrame增加一列数据
热门推荐
SunnyRivers
05-11 2万+
前言 先说个题外话，如何给hive表增加一个列，并且该把该列的所有字段设为’China’？ 如果仅仅是增加一列倒是很简单: alter table test add columns(flag string) 可要把这个flag字段全部设置为China，看起来的确是有点难度，因为往Hive表中装载数据的唯一途径就是使用一种“大量”的数据装载操作（如何往Hive表加载数据请参考），这个时候，如果数据...
3、Spark DataFrame理解和使用之单个DataFrame的变换操作
Toby的博客
10-13 2091
We can add rows or columns We can remove rows or columns We can transform a row into a column (or vice versa) We can change the order of rows based on the values in columns Creating DataFrames select and selectExpr Converting to Spar..
pyspark常用语法_零碎
qq_43354053的博客
12-29 1373
想了解更多，欢迎移步"文渊小站" 里面有更多知识分享，以及一些有意思的小项目～ 环境 spark 2.4.0 df查看信息（常用） df.schema # df表结构 df.columns # df各字段 df.dtypes # df各字段数据类型 df.first() # df的第一行数据 df.head() # df的第一行数据 # df.head(5) # df的前五行数据 df.show() # 展示 df 的部分行数据 # df.show(
Spark中DataFrame的schema讲解
RiverCode的博客
03-06 1万+
代码+图文讲解Spark中DataFrame的schema
spark写表指定外部表_Spark通过修改DataFrame的schema给表字段添加注释（转载）
weixin_39824223的博客
12-21 420
1、需求背景通过Spark将关系型数据库(以Oracle为例)的表同步的Hive表，要求用Spark建表，有字段注释的也要加上注释。Spark建表，有两种方法：用Spark Sql，在程序里组建表语句，然后用Spark.sql("建表语句")建表，这种方法麻烦的地方在于你要读取Oracle表的详细的表结构信息，且要进行Oracle和Hive的字段类型进行一一对应用DataFrame 的saveAs...
spark获取mysql注释
yy的博客
02-22 422
val commentsDf2 = spark.sql("describe t1") commentsDf2.show(false) +--------+---------+--------------------------+ |col_name|data_type|comment | +--------+---------+--------------------------+ |id |bigint |this is an exampl...
Spark SQL, Dataset,Dataframe之间的关系
Jackel_yan的博客
10-17 826
Spark SQL, Dataset, DataframeOverviewDataFrame功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程...
Spark读取文本文件并转换为DataFrame
乔治大哥的博客
11-20 3439
数据: scalaapi: package com.lianxi import org.apache.spark.SparkContext import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{DataFrame...
spark DF数据【DataFrame】的Schema如何设置？
东城庞太师
03-24 2411
spark DF数据【DataFrame】的Schema如何设置？
PySpark中加载schema的几种方式
tanzhangwen的专栏
03-21 2894
现在组里接的项目主要是在Azure Databricks里面用PySpark写脚本处理数据。而它目前的代码单元测试这一块是完全崩了，其中有几个已经写了的测试例子也无法运行，原因是它会加载avro的schema文件作为目标schema的转化和验证。但是因为处理逻辑的变更已经增加了一些列，可以avro文件并没有一直更新，使得测试无法成功。可是直接编辑avro文件尝试了很多软件或者在线编辑都无法成功，于是就思考替换这里的schema的加载方式。 下面根据网络查阅及整理，找到的几种加载schema的方式如下：
scala spark dataframe 修改字段类型
最新发布
qq_44920169的博客
03-22 521
scala spark dataframe 修改字段类型。
大数据实时阶段----【Spark03之dataFrame、dataSet、schema】
CoderBoom的博客
12-04 1322
spark_入门03学习笔记 1、目标 1、掌握sparksql底层原理 2、掌握DataFrame和DataSet数据结构和使用方式 3、掌握通过sparksql来进行代码开发 2、sparksql概述 2.1 sparksql前世今生 shark它是专门为spark设计的大规模数据仓库系统 shark依赖于hive的代码，同时也依赖spark版本 后期发现hive的mapre...
Spark : rdd转化为dataframe ，通过三种方式添加字段名称
zhangbw's blog
10-30 1346
目的： 将rdd转化为 dataframe ，并指定字段名称 下面以一个实际的例子来演示： 读取的数据如下： student_info.txt 、依次为 学号 姓名 性别 班级 入学年份 170401011001,施礼义,男,0101,20170901 170401011002,王旭,男,0101,20170901 170401011003,肖桢,女,0101,20170901 170401011004,吴佩东,男,0101,20170901 170401011005,魏会,男,0101,20
spark 编程方式指定dataframe的 Schema
易水寒
06-19 4330
package com.immooc.spark import com.immooc.spark.ReflectionTest.Person import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.{SparkConf, SparkCo...
RDD转DF方式2，定义Schema
Mr.Zheng的博客
08-09 332
package com.atguigu.spark.sql.day02 import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{Row, SparkSession} /** * Author zhengkw * Date 2020/5/14 10:31 */ object RDD2DF_2 { def main(args
SparkSQL schema创建DataFrame
Ntozot的博客
12-27 4425
通过case class创建DataFrame通过case class 把rdd转化为DF是我们常用的方法，当字段较多时，就不方便用case class来创建DataFrame。可以使用SparkSQL schema创建DF。
Spark RDD、DataFrame与DataSet详解及转换
例如，一个RDD可以通过创建Schema或者通过toDF()方法转化为DataFrame；DataFrame可以通过SparkSession的createDataset()方法转化为DataSet；而DataSet可以通过toDF()方法转化为DataFrame，再通过rdd()方法转化为RDD...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值