Spark创建Hive表

前言

实习生带着一脸坚毅的神情，斩钉截铁的告诉我：
Spark有bug，用Sparksql创建一个简单的外部表都报错：

create external table must be accompanied by location

我：你怎么创建的？
实习生：就下面一个简单的sql语句啊

spark.sql("""
CREATE EXTERNAL TABLE if not exists tb(
id int,
name string
) PARTITIONED BY (dt string)
STORED AS PARQUET
""")

我：你需要对Spark和Hive的基础知识进行巩固。

内部表和外部表的区别

它两主要区别在于LOAD和DROP这两个命令语义上：

• 内表使用load命令会把数据移到自己仓库目录下

• 外表使用load命令会把数据移到自己仓库以外的位置

• 内表使用drop命令会