Impala的核心开发语言是sql语句,Impala有shell命令行窗口,以及JDBC等方式来接收sql语句执行, 对于复杂类型分析可以使用C++或者Java来编写UDF函数。
Impala的sql语法是高度集成了Apache Hive的sql语法,Impala支持Hive支持的数据类型以及部分Hive 的内置函数。
需要注意的几点:
- Impala与Hive类似它们的重点都是在与查询,所以像Update,delete等具有更新性质的操作最好不要使用这种工具,对于删除数据的操作可以通过Drop Table,Alter Table Drop Partition来实现,更新可以尝试使用Insert overwrite方式
- 通常使用Impala的方式是数据文件存储在Hdfs文件系统,借助于Impala的表定义来查询和管理 Hdfs上的数据文件;
- Impala的使用大多数与Hive相同,比如Impala同样支持内外部表,以及分区等,可以借鉴参考 Hive的使用。
1、Impala-shell命令参数
1.1、impala-shell外部命令
所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置,用于修改命令执行环境。
impala-shell –h可以帮助我们查看帮助手册
比如几个常见的:
- impala-shell –r刷新impala元数据,与建立连接后执行 REFRESH 语句效果相同(元数据发生变化的时候)
- impala-shell –f 文件路径执行指的的sql查询文件
- impala-shell –i指定连接运行 impalad 守护进程的主机。默认端口是 21000。你可以连接到集群中运行 impalad 的任意主机。
- impala-shell –o保存执行结果到文件当中去。
展示Impala默认支持的内置函数需要进入Impala默认系统数据库中执行
show functions;
# 在其它数据库下⽆法查看!!
1.2、impala-shell内部命令
所谓内部命令是指,进入impala-shell命令行之后可以执行的语法。
connect hostname 连接到指定的机器impalad上去执行。
refresh dbname.tablename增量刷新,刷新某一张表的元数据,主要用于刷新hive当中数据表里面的数据改变的情况。
invalidate metadata 全量刷新,性能消耗较大,主要用于hive当中新建数据库或者数据库表的时候来进行刷新。
quit/exit命令 从Impala shell中退出
explain 命令 用于查看sql语句的执行计划。
explain的值可以设置成0,1,2,3等几个值,其中3级别是最高的,可以打印出最全的信息
set explain_level=3;
profile 命令执行sql语句之后执行,可以打印出更加详细的执行步骤,主要用于查询结果的查看,集群的调优等。
- expalin:可以不真正执行任务,只是展示任务的执行计划;
- profile:需要任务执行完成后调用,可以从更底层以及更详细的层面来观察我们运行impala的任务,进行调优。
2、Impala sql语法
2.1、数据库特定语句
(1)创建数据库
CREATE DATABASE语句用于在Impala中创建新数据库。
CREATE DATABASE IF NOT EXISTS database_name;
这里,IF NOT EXISTS是一个可选的子句。如果我们使用此子句,则只有在没有具有相同名称的现有数据库时,才会创建具有给定名称的数据库。
默认就会在hive的数仓路径下创建新的数据库名文件夹
/user/hive/warehouse/lagoutest.db
(2)删除数据库
- Impala的DROP DATABASE语句用于从Impala中删除数据库。 在删除数据库之前,建议从中删除所有表。
- 如果使用级联删除,Impala会在删除指定数据库中的表之前删除它。
drop database sample cascade;
2.2、表特定语句
(1)create table语句
CREATE TABLE语句用于在Impala中的所需数据库中创建新表。 需要指定表名字并定义其列和每列的数据类型。
impala支持的数据类型和hive类似
create table IF NOT EXISTS database_name.table_name ( column1 data_type,
column2 data_type, column3 data_type, ……… columnN data_type);
CREATE TABLE IF NOT EXISTS my_db.student(name STRING, age INT, contact INT );
默认建表的数据存储路径跟hive一致。也可以在建表的时候通过location指定具体路径。
(2)insert 语句
Impala的INSERT语句有两个子句: into和overwrite。into用于插入新记录数据,overwrite用于覆盖已有的记录。
insert into table_name (column1, column2, column3,...columnN)values (value1,value2, value3,...valueN);
Insert into table_name values (value1, value2, value2);
这里,column1,column2,... columnN是要插入数据的表中的列的名称。还可以添加值而不指定列名,但是,需要确保值的顺序与表中的列的顺序相同。
例子
create table employee (Id INT, name STRING, age INT,address STRING, salary BIGINT);
insert into employee VALUES (1, 'Ramesh', 32, 'Ahmedabad', 20000 );
insert into employee values (2, 'Khilan', 25, 'Delhi', 15000 );
Insert into employee values (3, 'kaushik', 23, 'Kota', 30000 );
Insert into employee values (4, 'Chaitali', 25, 'Mumbai', 35000 );
Insert into employee values (5, 'Hardik', 27, 'Bhopal', 40000 );
Insert into employee values (6, 'Komal', 22, 'MP', 32000 );
overwrite覆盖子句覆盖表当中全部记录。 覆盖的记录将从表中永久删除
Insert overwrite employee values (1, 'Ram', 26, 'Vishakhapatnam', 37000 );
(3)select语句
Impala SELECT语句用于从数据库查询数据, 此查询以表的形式返回数据
(4) describe 语句
Impala中的describe语句用于提供表的描述。 此语句的结果包含有关表的信息,例如列名称及其数据类型。
describe table_name;
(5)alter table
Impala中的Alter table语句用于对给定表执行更改。使用此语句,我们可以添加,删除或修改现有表中的列,也可以重命名它们。参考Hive实现。
(6)delete、truncate table
Impala drop table语句用于删除Impala中的现有表。此语句还会删除内部表的底层HDFS文件。
注意:使用此命令时必须小心,因为删除表后,表中可用的所有信息也将永远丢失。
drop table database_name.table_name;
Impala的Truncate Table语句用于从现有表中删除所有记录。保留表结构。
您也可以使用DROP TABLE命令删除一个完整的表,但它会从数据库中删除完整的表结构,如果您希望存储一些数据,您将需要重新创建此表。
truncate table_name;
Impala对复杂数据类型的支持
对于Text存储格式中的复杂类型不支持,复杂类型要使用parquet格式。
(7)view视图
视图仅仅是存储在数据库中具有关联名称的Impala查询语言的语句。 它是以预定义的SQL查询形式的表的组合。
视图可以包含表的所有行或选定的行。
create view if not exists view_name as select statement
创建视图view、查询视图view
create view if not exists employee_view AS select name, age from employee;
修改视图
alter view database_name.view_name as Select语句
删除视图
drop view database_name.view_name;
(8)order by子句
Impala ORDER BY子句用于根据一个或多个列以升序或降序对数据进行排序。 默认情况下,一些数据库按升序对查询结果进行排序。
select * from table_name ORDER BY col_name [ASC|DESC] [NULLS FIRST|NULLS LAST]
- 可以使用关键字ASC或DESC分别按升序或降序排列表中的数据。
- 如果我们使用NULLS FIRST,表中的所有空值都排列在顶行; 如果我们使用NULLS LAST,包含空值的行将最后排列。
(9)group by子句
Impala GROUP BY子句与SELECT语句协作使用,以将相同的数据排列到组中。
select name, sum(salary) from employee group by name;
(10)having子句
容易与where过滤进行混淆,
如何区分:
- where:过滤的数据是原始数据,表中本来就存在的数据;
- having:过滤的是查询结果数据;
- 按年龄对表进行分组,并选择每个组的最大工资,并显示大于20000的⼯资
select max(salary) from employee group by age having max(salary) > 20000;
(11)limit、offset
Impala中的limit子句用于将结果集的行数限制为所需的数,即查询的结果集不包含超过指定限制的记录。 一般来说,select查询的resultset中的行从0开始。使用offset子句,我们可以决定从哪里考虑输出。
select * from employee order by salary limit 2 offset 2;
使用offset关键字要求结果数据必须是排序之后的!!
3、Impala导入数据
3.1、insert into values
这种方式非常类似于RDBMS的数据插入方式。
create table t_test2(id int,name string);
insert into table t_test2 values(1,”zhangsan”);
3.2、insert into select
插入一张表的数据来自于后⾯的select查询语句返回的结果。
3.3、create table as select
- 建表的字段个数、类型、数据来自于后续的select查询语句。
- load data方式,这种方式不建议在Impala中使用,先使用load data方式把数据加载到Hive表中,然后 使用以上方式插入Impala表中。