HBase写入优化--write buff

最新推荐文章于 2023-08-28 09:41:58 发布

水田如雅

最新推荐文章于 2023-08-28 09:41:58 发布

阅读量1.3k

点赞数

分类专栏：大数据文章标签： hbase 优化数据

本文链接：https://blog.csdn.net/lhc1105/article/details/73864324

版权

大数据专栏收录该内容

23 篇文章 7 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了HBase写入过程中遇到的问题，即由于频繁写入导致的错误。通过介绍批量写入的解决策略，强调在hbase-site.xml中配置write buffer以减少IO和网络传输。然而，此方法可能导致数据丢失，对于要求高可用性的场景需谨慎。同时，分析了Put操作和flushCommits过程，指出只有当缓冲区满时，数据才会真正写入。

摘要由CSDN通过智能技术生成

##write buff操作

前两天在观察kafka消费数据的时候，发现HBase偶尔会报一个org.apache.hadoop.hbase.RegionTooBusyException: org.apache.hadoop.hbase.RegionTooBusyException这种错误出来，从描述上看，是HBase写入太过频繁导致的。

首先来看我的写入操作代码:

/**
	 * 单条更新hbase数据
	 * 
	 * @param tableName
	 *            表名
	 * @param put
	 *            put对象
	 * @return 成功与否
	 * @throws IOException
	 */
	public synchronized boolean insert(String tableName, Put put