项目场景:
phoenix 插入数据量大时报错: java.sql.SQLException: ERROR 730 (LIM02): MutationState size is bigger than maximum allowed number of bytes:
原因分析:
spark写入phoenix过大,超过了phoenix默认的承载量,更改下hbase-site.xml配置文件即可
解决方案:
主要修改三个参数配置:
phoenix.mutate.batchSize:执行过程中被批处理并自动提交的行数,调大此参数
phoenix.mutate.maxSize :客户端批处理的最大行数,调大此参数
phoenix.mutate.maxSizeBytes :客户端批处理的最大数据量(单位:B),这个参数官网参数列表并未提到,但是确实会有很大影响,同样要调大此参数
<property>
<name>phoenix.mutate.maxSize</name>
<value>15000000</value>
</property>
<property>
<name>phoenix.mutate.batchSize</name>
<value>200000</value>
</property>
<property>
<name>phoenix.mutate.maxSizeBytes</name>
<value>1048576000</value>
</property>