Spark1.x升级Spark2.x常见异常HBase篇【CallQueueTooBigException】

神之凝视

于 2020-06-11 17:42:37 发布

阅读量698

点赞数

分类专栏： HBase Spark 大数据文章标签： hbase

本文链接：https://blog.csdn.net/qq_27600723/article/details/106682659

版权

博客讲述了在Spark从1.x升级到2.x，HBase升级到2.1后遇到的CallQueueTooBigException异常。异常源于RPC队列过大，由于Spark性能提升和HBase同步数据效率增加导致对HBase RPC的负担加重。解决方案包括修改hbase-site.xml配置文件和在Spark程序中动态指定增大队列，但需要注意配置值不超过2GB的限制。

摘要由CSDN通过智能技术生成

一.HBase之CallQueueTooBigException

查看RpcServer.java【路径：hbase-2.1.0-src\hbase-2.1.0\hbase-server\src\main\java\org\apache\hadoop\hbase\ipc】源代码可知，报CallQueueTooBigException异常的原因是，RPC队列过大！具体到此处的原因是：Spark升级到2.x版本后，性能大幅提升，同时因HBase升级大2.1导致使用Spark往HBase同步数据的效率大幅增加，进而增加了对HBase RPC的负担。Spark同步HBase是使用RPC【远程过程调用】，因此RPC的queue大小对大数据环境这种高并发的情况来说就是息息相关了！源代码注释信息如下：

   * Maximum size in bytes of the currently queued and running Calls. If a new Call puts us over
   * this size, then we will reject the call (after parsing it though