xuyanqi1991的博客

原创 hive数仓优化-底层数据存储读写和压缩

通过查看cm页面的统计数据，我们又发现所有datanode节点的磁盘写入吞吐量的折现图的走势基本一致，如下图所示，所有datanode节点的磁盘写入吞吐量的平均速度稳定在140MB/S,峰值吞吐量几乎不会高于240MB/S，虽然部分服务器挂载了4块以上的磁盘，但仍然和挂载两块硬盘的服务器保持相同的磁盘吞吐量，之所有产生这种结果，是由于每台服务器的网络吞吐量几乎相同，受限于带宽大小，8台服务器能够达到的最大网络吞吐量，决定了datanode的峰值吞吐量。这改变了更高级别压缩编解码器(如ZLIB)的压缩级别。