Hbase命名空间和分区Scala-API实现

最新推荐文章于 2022-06-11 00:30:00 发布

忧伤的橘子

最新推荐文章于 2022-06-11 00:30:00 发布

阅读量334

点赞数

文章标签： hbase

本文链接：https://blog.csdn.net/qq_45255036/article/details/105918304

版权

本文介绍了如何通过Hbase的Scala API进行命名空间的创建和RowKey的预分区，以解决大数据量插入时的热点问题，提升数据插入效率。详细内容包括创建命名空间的步骤，以及在插入数据时如何获取分区号进行预分区操作。

摘要由CSDN通过智能技术生成

Hbase命名空间和分区API实现

Hbase命名空间:对hbase中表的逻辑划分

1.创建命名空间

 private val conf: Configuration = HBaseConfiguration.create()


def isExistCreateNameSpace(conf: Configuration,nameSpace: String){
    val connection: Connection = ConnectionFactory.createConnection(conf)
    val admin = connection.getAdmin
//    获取命名空间,不能存在是会报错,报错的话就创建命名空间
    try {
      admin.getNamespaceDescriptor(nameSpace)
    } catch {
      case exce :NamespaceNotFoundException =>{
        //    命名空间不存在就创建
          //      创建命名空间属性
          val namespaceDescriptor: NamespaceDescriptor = NamespaceDescriptor.create(nameSpace)
            .addConfiguration("CREATE_TIME", System.currentTimeMillis().toString)
            .addConfiguration("AUTHOR", "zsw").build()
          admin.createNamespace(namespaceDescriptor)
      }
    }

  }