scala 操作 Kudu API

简单实现了使用Kudu API对相关kudu表数据进行操作，其中标色部分可重点关注。

1.Upsert

// 创建kudu连接

val kuduMaster ="*****"
val kuduClient = new KuduClient.KuduClientBuilder(kuduMaster).build()
 
// 设置表名  
val tableName = "kudu_test"
 
// 获得表的连接
val kuduTable = kuduClient.openTable(tableName)
    
// 开启一个会话
val  session = kuduClient.newSession()
session.setFlushMode(SessionConfiguration.FlushMode.MANUAL_FLUSH)

   

//获取字段信息

val columns = kuduTable.getSchema.getColumns.toArray()

 

// 创建upsert对象
val upsert = kuduTable.newUpsert()
val rowUpsert= upsert.getRow()

//以下代码可用于批量插入数据，无需手动添加，logResult为获取的相关上游日志数据

for (indexCol <- 0 until columns.length) {
  if (columns(indexCol).toString.contains("int32")) {
    // 创建插入对象并设置插入数据

    row.addInt(indexCol, logResult(indexCol).toInt)
  }
  else if (columns(indexCol).toString.contains("string")) {
    row.addString(indexCol, logResult(indexCol))
  }
  else if (columns(indexCol).toString.contains("double")) {
    row.addDouble(indexCol, logResult(indexCol).toDouble)
  }
  else if (columns(indexCol).toString.contains("bool")) {
    row.addBoolean(indexCol, logResult(indexCol).toBoolean)
  }

rowUpsert.addString("name", "nnnn")
rowUpsert.addInt("age", 19)
rowUpsert.addString("city", "mmmm")
    
// 执行upsert操作
session.apply(upsert)
    
// 同步数据并关闭会话
session.flush()
session.close()
 
// 关闭kudu连接
kuduClient.close()

 

2.delete

// 创建kudu连接
val kuduMaster ="*****"
val kuduClient = new KuduClient.KuduClientBuilder(kuduMaster).build()
 
// 设置表名  
val tableName = "kudu_test"
 
// 获得表的连接
val kuduTable = kuduClient.openTable(tableName)
    
// 开启一个会话
val  session = kuduClient.newSession()
session.setFlushMode(SessionConfiguration.FlushMode.MANUAL_FLUSH)
 
// 创建删除对象并指定要删除的行

//对于删除操作，只需找出相应主键，进行删除即可
val delete = kuduTable.newDelete()
delete.getRow().addString("name", "XXX")

// 执行删除操作
session.apply(delete)
    
// 同步数据并关闭会话
session.flush()
session.close()
 
// 关闭kudu连接
kuduClient.close()

 

参考文献：

1.Kudu delete data api （scala版）