Hive中创建S3的外部表

Hive中创建S3的外部表

    数据在S3存放的数据是按时间纬度存放的，每天的数据存放在各自的目录下，目录结构如下截图：

       

    每个目录下面的数据是CSV文件，现在将其导入到Hive中进行查询，通过创建对应的表结构：    

[sql] view plain  copy

 

1. hadoop到s3
   hadoop distcp hdfs:/user/hive/data/SearchRecord/2014-02-16 s3n://*/hadoop/user/hive/data/SearchRecord/2014-02-16 
   
   需要在core-site.xml中配置好fs.s3n.awsAccessKeyId和fs.s3n.awsSecretAccessKey
   
   注意s3的路径需要使用s3n
   
   
2. s3到hadoop
   hadoop distcp s3n://*/hadoop/user/hive/data/SearchRecord/2014-02-16/ hdfs:/user/hadoop/test/SearchRecord/2014-02-16