大数据
空藍性忘
这个作者很懒,什么都没留下…
展开
-
Spark 将DataFrame的数据写入Hive分区表
方法1用 insertInto该方法按照 df 中字段顺序确定字段与分区字段,与 df 的列名无关mode(“overwrite”):新数据以覆盖方式写入原有分区(其它分区不受影响)mode(“append”):新数据以追加方式写入原有分区val df: DataFrame = ...// 开启 Hive 表动态分区spark.sql("set hive.exec.dynamic.partition=true")spark.sql("set hive.exec.dynamic.partit原创 2020-12-25 14:39:12 · 1850 阅读 · 1 评论 -
Spark 读取外部配置文件(各种提交模式、使用 typesafe.config)
Spark 读取外部配置文件(各种提交模式、使用 typesafe.config)1.使用 typesafe.config 读取外部配置文件使用 com.typesafe.config 的方式STEP1.导入 typesafe 依赖<dependency> <groupId>com.typesafe</groupId> <artifactId>config</artifactId> <version>R原创 2020-11-26 23:36:30 · 4415 阅读 · 2 评论