-
数据存储及压缩
针对hive中表的存储格式通常有orc和parquet,压缩格式一般使用snappy。相比与textfile格式表,orc占有更少的存储。因为hive底层使用MR计算架构,数据流是hdfs到磁盘再到hdfs,而且会有很多次,所以使用orc数据格式和snappy压缩策略可以降低IO读写,还能降低网络传输量,这样在一定程度上可以节省存储,还能提升hql任务执行效率; -
参数优化
开启map端部分预聚合;
并行执行,调节parallel参数;
调节jvm参数,重用jvm;
设置map、reduce参数;
开启strict mode模式;
关闭推测执行设置; -
有效地减小数据集将大表拆分成子表;结合使用外部表和分区表
-
SQL优化
大表对大表:尽量减少数据集,可以通过分区表,避免扫描全表或者全字段。
大表对小表:设置自动识别小表,将小表放入内存中去执行。
Hive优化
最新推荐文章于 2024-10-09 13:52:28 发布