Hive内表与外表

1. 内部表

[cpp] view plain copy print ?

1. create table zz (name string , age string) location '/input/table_data';    

注：hive默认创建的是内部表

此时，会在hdfs上新建一个zz表的数据存放地

[cpp] view plain copy print ?

1. load data inpath '/input/data' into table zz;    

会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下。 删除zz表后，会将zz表的数据和元数据信息全部删除，即最后/input/table_data下无数据，当然/input/data下再上一步已经没有了数据！

     如果创建内部表时没有指定location，就会在/user/hive/warehouse/下新建一个表目录，其余情况同上。

    注：load data会转移数据

2. 外部表

[cpp] view plain copy print ?

1. create external table et (name string , age string);    

会在/user/hive/warehouse/新建一个表目录et

[cpp] view plain copy print ?

1. load data inpath '/input/edata' into table et;    

把hdfs上/input/edata/下的数据转到/user/hive/warehouse/et下 ，删除这个外部表后，/user/hive/warehouse/et下的数据不会删除，但是/input/edata/下的数据在上一步load后已经没有了！ 数据的位置发生了变化！本质是load一个hdfs上的数据时会转移数据！

3. 小结

最后归纳一下Hive中表与外部表的区别：

     1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由它自己来管理的！而内部表则不一样；
     2、在删除内部表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！

     3. 在创建内部表或外部表时加上location 的效果是一样的，只不过表目录的位置不同而已，加上partition用法也一样，只不过表目录下会有分区目录而已，load data local inpath直接把本地文件系统的数据上传到hdfs上，有location上传到location指定的位置上，没有的话上传到hive默认配置的数据仓库中。

4.下面来看下 Hive 如何创建内部表：

create table test(userid string);
LOAD DATA INPATH '/tmp/result/20121213' INTO TABLE test partition(ptDate='20121213');

这个很简单，不多说了，下面看下外部表：

hadoop fs -ls /tmp/result/20121214
Found 2 items
-rw-r--r--   3 june supergroup       1240 2012-12-26 17:15 /tmp/result/20121214/part-00000
-rw-r--r--   1 june supergroup       1240 2012-12-26 17:58 /tmp/result/20121214/part-00001
-- 建表
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|';
-- 建立分区表，利用分区表的特性加载多个目录下的文件，并且分区字段可以作为where条件，更为重要的是
-- 这种加载数据的方式是不会移动数据文件的，这点和 load data 不同，后者会移动数据文件至数据仓库目录。
alter table test add partition (ptDate='20121214') location '/tmp/result/20121214';
-- 注意目录20121214最后不要画蛇添足加 /*，我就是linux shell用多了，加了这玩意，调试了一下午

注意：location后面跟的是目录，不是文件，hive会把整个目录下的文件都加载到表中。目录/tmp/result/20121214里需要事先建立数据的文本文件（.txt），列之间用‘|’分割。

create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘|’ location '/hive/dw';

否则，会报错误：

FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException java.io.FileNotFoundException: Parent path is not a directory: /hive/dw/record_2013-04-04.txt

最后提下还有一种方式是建表的时候就指定外部表的数据源路径，

但这样的坏处是只能加载一个数据源了：

CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘|’
LOCATION ‘/sunwg/test08′;
上面的语句创建了一张名字为sunwg_test09的外表，该表有id和name两个字段，
字段的分割符为tab，文件的数据文件夹为/sunwg/test08
select * from sunwg_test09;
可以查询到sunwg_test09中的数据。
在当前用户hive的根目录下找不到sunwg_test09文件夹。
此时hive将该表的数据文件信息保存到metadata数据库中。
mysql> select * from TBLS where TBL_NAME=’sunwg_test09′;
可以看到该表的类型为EXTERNAL_TABLE。
mysql> select * from SDS where SD_ID=TBL_ID;
在表SDS中记录了表sunwg_test09的数据文件路径为hdfs://hadoop00:9000/hjl/test08。
# hjl为hive的数据库名

实际上外表不光可以指定hdfs的目录，本地的目录也是可以的。
比如：
CREATE EXTERNAL TABLE test10(id INT, name string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘|’

LOCATION ‘file:home/hjl/sunwg/’;