hive-内部表外部表区别及各自使用场景

一、内外部表区别？

内部表：加载数据到hive所在的hdfs目录，删除时，元数据和数据文件都删除
外部表：不加载数据到hive所在的hdfs目录，删除时，只删除表结构。外部表数据相对来说更加安全些，因为各种前端不会直接提供hdfs的删除接口。同时外部表数据组织也更加灵活，方便共享源数据。

1. 默认仓库路径

内部表：内部表的默认创建路径在：/user/hive/warehouse/database.db/xm_testA
外部表：外部表的默认创建路径在：/user/hive/warehouse/database.db/xm_testB

2. drop 表

内部表：内部表删除后会将元数据和路径下的文件都删除
外部表：外部表只删除元数据，不删除路径下的文件

3. load加载数据

内部表：会把数据移动到自己指定的路径下
外部表：不会把数据移动到自己的数据仓库目录下，也因此证明外部表的数据不是由自己管理的。

二、内外部表的适用场景？

内外部表的使用没有一个固定的规范，facebook之所以会提供这2种接口，应该是因为如下：

1. 做etl处理时，通常会选择内部表做中间表，因为清理时，会将HDFS上的文件同时删除
2. 如果怕误删数据，可以选择外部表，因为不会删除文件，方便恢复数据
3. 如果对数据的处理都是通过hql语句完成，选择内部表，如果有其他工具一同处理，选择外部表
4. 每天采集的ng日志和埋点日志,在存储的时候建议使用外部表，因为日志数据是采集程序实时采集进来的，一旦被误删，恢复起来非常麻烦。而且外部表方便数据的共享。
5. 抽取过来的业务数据，其实用外部表或者内部表问题都不大，就算被误删，恢复起来也是很快的，如果需要对数据内容和元数据进行紧凑的管理, 建议使用内部表。
6. 在做统计分析时候用到的中间表，结果表可以使用内部表，因为这些数据不需要共享，使用内部表更为合适。并且很多时候结果分区表我们只需要保留最近3天的数据，用外部表的时候删除分区时无法删除数据。
7. 在没有其他限制的情况下，优先使用外部表，因为：
   1. 不会加载数据到hive，减少数据传输，还能共享
   2. 不会对HDFS中的数据修改，不用担心数据损坏，删除表时只删除表结构，不删除数据
      后续有其他的总结，会再补上。
8. 全量内部，增量外部
   因为增量需要频繁变动

三、syntax

创建

内部表：内部表直接创建，不需要加关键字

create table if not exits xm_testA(
    KEHUMC VARCHAR(50) COMMENT '客户名称'，
    KEHUZH VARCHAR(50) COMMENT '客户号'
)
COMMENT '客户信息表'

外部表：外部表的创建需要加上external关键字修饰，可以通过location指定hive仓库的路径

create external table if not exits xm_testB(
    KEHUMC VARCHAR(50) COMMENT '客户名称'，
    KEHUZH VARCHAR(50) COMMENT '客户号'
)
COMMENT '客户信息表'
location '/user/xm/test'