Impala部分：impala的命令操作学习

Impala的外部命令和内部命令。

Impala-shell

Impala-shell  -p

Select * from ooxx;

就可以对sql语句调优了。

Impala-shell  -i node02

可以连接node02

Impala-shell  -q ‘select * from ooxx’;

执行查询

Impala-shell  -B

Select * from ooxx;

Impala-shell  -C:

查询失败时还会继续执行

Impala-shell  -f  sql.txt

Impala-shell  -C：出错了还继续执行

Impala-shell  -B:格式化

Impala-shell  -p

Impala-shell  -o 可以重定向

Impala-shell  -r:刷新所有

 

Impala 接：

Refresh:只能触发自己已有的表

 

Set explain_level = 3;

Explain select * from ooxx;

数字越大，级别越高，显示的越多。

Select * from ooxx;

Profile;使用场景，

Shell pwd

Shell ls -l  /;

修改impala的配置

压缩

Impala添加分区

压缩和文件类型

压缩数据：为了规避I/O的操作，

对于压缩的加压缩；正面大于负面影响。解压不会超过十分钟

生活中的解压：从内存到磁盘，再写回到内存

在速度，功能、效率方面做一个抉择

 

Impala不支持：xml,json函数

Impala 的插入数据，直接插入。

Insert into t_person values(1,hex(‘hello word’));

其他表：

Insert into tab_3 select  * from tab_2;

批量插入数据：

load data local inpath ‘/xxx/xxx’ into table tab_1;

 

Impala：支持简单的普通的快速查询

对服务器要求很高，查询速度达不到毫秒级别。

Create table

创建表(外部表)

默认方式创建表：

create external table tab_p1(

id int,

name string

)

location ‘/user/xxx.txt’

 

指定存储方式：

create external table tab_p2 like parquet_tab

‘/user/xxx/xxx/1.dat’

partition (year int , month tinyint, day tinyint)

location ‘/user/xxx/xxx’

stored as parquet;

 

 

 

Hive和hbase整合：

Hive最核心的点是metastore

在hive中创建表

Hive和hbase做成映射关系

大数据中磁盘I/O和网络I/O

重点:下去看sql

京东读书