简单实现了使用Kudu API对相关kudu表数据进行操作,其中标色部分可重点关注。
1.Upsert
// 创建kudu连接
val kuduMaster ="*****"
val kuduClient = new KuduClient.KuduClientBuilder(kuduMaster).build()
// 设置表名
val tableName = "kudu_test"
// 获得表的连接
val kuduTable = kuduClient.openTable(tableName)
// 开启一个会话
val session = kuduClient.newSession()
session.setFlushMode(SessionConfiguration.FlushMode.MANUAL_FLUSH)
//获取字段信息
val columns = kuduTable.getSchema.getColumns.toArray()
// 创建upsert对象
val upsert = kuduTable.newUpsert()
val rowUpsert= upsert.getRow()
//以下代码可用于批量插入数据,无需手动添加,logResult为获取的相关上游日志数据
for (indexCol <- 0 until columns.length) {
if (columns(indexCol).toString.contains("int32")) {
// 创建插入对象并设置插入数据
row.addInt(indexCol, logResult(indexCol).toInt)
}
else if (columns(indexCol).toString.contains("string")) {
row.addString(indexCol, logResult(indexCol))
}
else if (columns(indexCol).toString.contains("double")) {
row.addDouble(indexCol, logResult(indexCol).toDouble)
}
else if (columns(indexCol).toString.contains("bool")) {
row.addBoolean(indexCol, logResult(indexCol).toBoolean)
}
rowUpsert.addString("name", "nnnn")
rowUpsert.addInt("age", 19)
rowUpsert.addString("city", "mmmm")
// 执行upsert操作
session.apply(upsert)
// 同步数据并关闭会话
session.flush()
session.close()
// 关闭kudu连接
kuduClient.close()
2.delete
// 创建kudu连接
val kuduMaster ="*****"
val kuduClient = new KuduClient.KuduClientBuilder(kuduMaster).build()
// 设置表名
val tableName = "kudu_test"
// 获得表的连接
val kuduTable = kuduClient.openTable(tableName)
// 开启一个会话
val session = kuduClient.newSession()
session.setFlushMode(SessionConfiguration.FlushMode.MANUAL_FLUSH)
// 创建删除对象并指定要删除的行
//对于删除操作,只需找出相应主键,进行删除即可
val delete = kuduTable.newDelete()
delete.getRow().addString("name", "XXX")
// 执行删除操作
session.apply(delete)
// 同步数据并关闭会话
session.flush()
session.close()
// 关闭kudu连接
kuduClient.close()