大数据
he613
这个作者很懒,什么都没留下…
展开
-
kudu使用及常见问题小结
问题记录最近发现kudu日志爆满,info信息全部输出保存在了日志文件里,需要配置日志输出级别:首先登录了kudu监控页面:http://xxxxx:8051 发现Command-line Flags里的--minloglevel=0修改/etc/kudu/conf/master.gflagfile 和 /etc/kudu/conf/tserver.gflagfile 这两个文...原创 2019-05-24 17:10:26 · 4853 阅读 · 0 评论 -
impala 问题小结
前言:在日常的impala操作及运维中,遇到了一些问题,在此记录,防止后来人踩坑。问题一:impala的substr由于hive跑日常批量时间较长,因此考虑使用impala进行替换,在改写脚本中遇到了如下问题:用hive 写 select substr("adbc",0,2) 获得数据为"ab",使用impala 写 select substr("adbc",0,2) 获得数据为...原创 2019-05-18 15:37:14 · 1848 阅读 · 0 评论 -
scala 操作 Kudu API
简单实现了使用Kudu API对相关kudu表数据进行操作,其中标色部分可重点关注。1.Upsert// 创建kudu连接val kuduMaster ="*****"val kuduClient = new KuduClient.KuduClientBuilder(kuduMaster).build()// 设置表名 val tableName = "kudu_test"...原创 2019-05-30 15:51:34 · 1511 阅读 · 0 评论