weixin_47223643的博客

原创 大数据面试题

Hadoop 相关试题 1、 hive内部表和外部表的区别 内部表：加载数据到hive所在的hdfs目录，删除时，元数据和数据文件都删除 外部表：不加载数据到hive所在的hdfs目录，删除时，只删除表结构。 2、 hive表关联查询，造成数据倾斜的原因，如何避免? 倾斜原因： map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特点、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 1)、key分布不均匀; 2)、业务数据本身的特性; 3)、建表时考虑