Sparksql操作Hudi

每次使用或者建表后要refresh db(增加了表),和refresh tablename(改了表结构);

hudi同步到hive需要几分钟,需要等下(不等待可以刷新hive元数据,hudi和hive共用元数据)

删除hudi表:

删除表不算完全删除,重建这个表会报错,要删除表的话,需要把hdfs也删了(指定了location会生产外部表)

不指定location会生产内部表,可以删除

create table hudi.test(
   a string
) using hudi
options (
 primaryKey = 'a',
 type = 'cow'
)

Spark进入Hudi

spark-sql --jars /app/hudi-spark-bundle_2.11-0.10.0.jar 
--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' 
--conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'

创建Hudi表

create table TMP_CAMP_ORDER_DTL_03 (
     SALE_ID       STRING
    ,PROP_CNST_ID  STRING
    ,PROP_CNST_CD  STRING
    ,PROP_CNST_NM  STRING
    ,SHARE_RATE    STRING
)using hudi
 options (
  primaryKey = 'SALE_ID,
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值