- 博客(1)
- 资源 (9)
- 收藏
- 关注
原创 Hive2.1.1压缩配置_完整版
Map输出压缩 除了创建表时指定保存数据时压缩,在查询分析过程中,Map的输出也可以进行压缩。由于map任务的输出需要写到磁盘并通过网络传输到reducer节点,所以通过使用LZO、LZ4或者Snappy这样的快速压缩方式,是可以获得性能提升的,因为需要传输的数据减少了。 MapReduce配置项: mapreduce.map.output.compress 设置是否启动map输出的压缩机制,默认为false。在需要减少网络传输的时候,可以设置为true。 mapreduce.map.output.
2020-07-13 16:40:54 197
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人