hbase put 异步 java_java – HBase BufferedMutator vs PutList性能

简答

BufferedMutator通常提供比仅使用Table#put(List< Put>)更好的吞吐量,但需要适当调整hbase.client.write.buffer,hbase.client.max.total.tasks,hbase.client.max.perserver.tasks和hbase.client.max.perregion.tasks表现良好.

说明

将放置列表传递给HBase客户端时,它会按目标区域对放置进行分组,并按目标区域服务器对这些组进行批处理.为每个批次发送一个rpc请求.这减少了rpc开销,特别是在Puts非常小的情况下,因此每个请求的rpc开销很大.

Table客户端立即将所有Puts发送到区域服务器并等待响应.这意味着任何可能发生的批处理都限于单个API调用中的Puts数量,并且api调用从调用者的角度来看是同步的.

但是,BufferedMutator会在缓冲区中缓冲Puts并决定根据当前缓冲的大小来刷新缓冲的puts,这些大小是由一个名为AsyncProcess的类所包围的后台线程中的.从调用者的角度来看,每个API调用仍然是同步的,但整个缓冲策略提供了更好的批处理.后台刷新模型还允许连续的请求流,结合更好的批处理意味着支持更多客户端线程的能力.但是,由于这种缓冲策略,缓冲区越大,调用者看到的每个操作延迟越差,但是通过拥有更多数量的客户端线程可以维持更高的吞吐量.

控制BufferedMutator吞吐量的一些配置是：

hbase.client.write.buffer：缓冲区的大小(字节)(更高可提供更好的峰值吞吐量,消耗更多内存)

hbase.client.max.total.tasks：AsyncProcess开始阻止请求之前跨群集的挂起请求数(越高越好,但可能会使客户端上的CPU匮乏,或导致服务器过载)

hbase.client.max.perserver.tasks：AsyncProcess开始阻止请求之前一个区域服务器的挂起请求数.

hbase.client.max.perregion.tasks：每个区域的待处理请求数.

此外,为了完整起见,不言而喻,如果瓶颈在服务器端而不是客户端,通过在客户端上使用BufferedMutator而不是表,您将看不到多少性能提升.