通过API插入Hbase 数据最大2M数据问题修改

第一种方式

如果修改HBase配置文件后并没有看到效果,可能是因为该参数在其他配置文件中被覆盖了。可以尝试在其他配置文件中查找是否有和这两个参数相关的配置,并将其修改或删除。

另外,也可以通过HBase Shell来动态修改参数,步骤如下:

  1. 打开HBase Shell。
  2. 执行以下命令来修改单个Cell的最大大小限制:
    hbase shell> alter 'TABLE_NAME', {NAME => 'COLUMN_FAMILY_NAME', MAX_VERSIONS => 1, TTL => 86400, BLOCKSIZE => 20971520, IN_MEMORY => true, COMPRESSION => 'NONE', DATA_BLOCK_ENCODING => 'FAST_DIFF', KEEP_DELETED_CELLS => false, BLOOMFILTER => 'ROWCOL', REPLICATION_SCOPE => 0, VERSIONS => 1, MIN_VERSIONS => 0, CACHE_DATA_IN_L1 => false, CACHE_INDEX_ON_WRITE => false, EVICT_BLOCKS_ON_CLOSE => false, PREFETCH_BLOCKS_ON_OPEN => false, CACHE_BLOOMS_ON_WRITE => false, COMPRESS_TAGS => false, ENCODE_ON_DISK => true}

    其中,TABLE_NAME表示表名;COLUMN_FAMILY_NAME表示列族名;MAX_VERSIONS表示保留的版本数,一般设置为1;BLOCKSIZE表示块大小,即单个Cell的最大大小,单位是字节,可以根据实际需求进行设置。

  3. 修改完成后,可以执行以下命令来确认参数是否生效:
    hbase shell> describe 'TABLE_NAME' 这个命令可以查看指定表的详细信息,其中应该包括修改过的参数值。

需要注意的是,动态修改参数可能不会像修改配置文件那样持久化保存,也可能会对性能产生一定影响。因此,在实际应用中仍然建议通过修改配置文件来进行参数设置。

第二种方式

  1. 打开hbase-site.xml文件。
  2. 添加或修改以下两个参数:
    <property>
      <name>hbase.table.max.cell.size</name>
      <value>xxxxx</value>
    </property>
    <property>
      <name>hbase.client.keyvalue.maxsize</name>
      <value>xxxxx</value>
    </property>
    
    其中,hbase.table.max.cell.size表示单个Cell(即单个列)的最大大小限制,单位是字节;hbase.client.keyvalue.maxsize表示客户端读写操作中KeyValue的最大大小限制,也是以字节为单位。将它们的值修改为想要设置的大小即可。
  3. 修改完成后保存hbase-site.xml文件并重启HBase集群。

需要注意的是,增加单个列的最大大小限制可能会对HBase的性能产生一定影响,因此在修改之前请务必进行测试,根据实际需求进行调整。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值