大数据存储治理

降低大数据存储成本的一些措施

一、生命周期

1. 分区表必须设定生命周期
2. 测试桶必须设定生命周期
3. 回收站必须设定生命周期
4. 碎片必须设定生命周期
5. 数据分层根据不同的使用频率进入的层

二、无用清理

1. 无用的表，不再使用的
2. 回收站数据，不能自动清理的
3. 数据碎片，没设定自动清理的
4. 游离数据，不受表管理的
5. 测试数据，测试桶可设定生命周期自动清理
6. 中间结果，异常终止导致的.hive-staging、.spark-staging
7. 组件下线，清理airflow-log、kylin-log

三、存储格式

1. 字段类型
2. 列式存储
3. 压缩格式
4. 提高压缩率: 分区内排序( sort by, distributed by)、按主键shuffle(repartition(num,primary_ke) )

四、文件大小治理

小文件的危害: 按object数量收费、收费的最小文件限制

大文件的危害: 写出慢

小文件问题优化_盛源_01的博客-CSDN博客

 

五、其它

• 只是对外控制权限的表视图化, 避免计算和存储成本
• 尽量内网访问，一般外网流出费用很高