为impala开启HDFS缓存

HDFS缓存

集中式缓存管理，由Datanode堆外内存组成，Namenode统一管理

优点：

• 阻止频繁使用的数据从内存中删除
• 由于是Namenode统一管理，因此在读可以根据情况调度，提高读性能
• 客户端可以通过零拷贝技术直接读取缓存数据
• 提高集群内存利用率，读某个文件的时候会将

解决步骤

• 查看是否开启缓存
  

• 查看当前是否存在缓存池

hdfs cacheadmin -listPools

• 创建HDFS缓冲池

hdfs cacheadmin -addPool idnmk -owner hive

• 设置高速缓存副本

alter table idnmk.t70_idn_loan_rate set cached in 'idnmk' with replication = 3;

• 查看表状态

show table stats idnmk.t70_idn_loan_rate;

• 查看HDFS高速缓存池里文件的状态

hdfs cacheadmin -listPools -stats idnmk