![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Impala
南宫紫攸
努力,奋斗!
展开
-
Scala版SpringBoot + Impala
工作需要做查询并导出数据的接口,考虑了SpringBoot + Spark 和 Impala,Spark只测试了本地模式,时间有限暂时没有测试yarn模式,但是Spark更适合做数据分析,查询Impala 是比较高效的,选择了以 Impala 做查询引擎。这里整合下 Impala 做个记录。不过因为项目有其他处理模块,所以只把Impala部分拆分出来,是完整的独立模块。目录@Sprin...原创 2020-01-13 15:16:11 · 541 阅读 · 1 评论 -
Maven安装外部 jar 到本地仓库
安装外部jar到Maven本地仓库,设置groupId,artifactId,version。mvn install:install-file -Dfile=D:\soft\ImpalaJDBC42.jar -DgroupId=com.clodera.impala -DartifactId=impalajdbc41 -Dversion=2.6.15 -Dpackaging=jar添加...原创 2020-01-09 17:58:40 · 189 阅读 · 0 评论 -
Impala-shell 导出查询数据
用Impala查询Hive数据,将结果导出为本地文件。常用参数:-q / --query=query 命令行执行sql-f / --query_file 执行查询文件,分号分隔-d / --database= 指定数据库,不指定使用default,也可以在sql中使用db.table-B / -...原创 2020-01-09 17:57:51 · 1098 阅读 · 0 评论 -
Impala-shell 参数选项
参考:Impala配置选项可以通过 impala-shell -h 查看。 选项 描述 -i IMPALAD, --impalad=IMPALAD 指定连接服务端,格式为 host:port,可以指定localhost。 -B or --delimited 以普通文件格式打印查询结果。-B 选项常用于保存查询结果到文...原创 2020-01-09 17:57:12 · 749 阅读 · 0 评论 -
Impala 数据刷新
1.refreshrefresh 用于刷新某个表或者某个分区的数据信息,它会重用之前的表元数据,仅仅执行文件刷新操作。主要用于表中元数据未修改,数据的修改,例如insert into、load data、alter table add partition、llter table drop partition等,如果直接修改表的hdfs文件(增加、删除或者重命名)也需要指定refresh刷...原创 2020-01-09 17:56:34 · 1103 阅读 · 0 评论 -
CDH Hue中 Hive 或 Impala 一直连接不释放资源
Hive - 配置 - HiveServer2 - hive-site.xml添加会话超时,但要注意会话超时后临时udf会失效。<property><name>hive.server2.session.check.interval</name><value>3000</value></property><pr...原创 2020-01-09 17:55:42 · 842 阅读 · 0 评论