Impala
ITBOY_ITBOX
技术人生,管理天涯
展开
-
Impala的基本概念
什么是ImpalaCloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive,使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。Impala的优缺点优点基于内存运算,不需要把中间结果写入磁盘,省掉了大量的I/O开销。 无需转换为Mapreduce,直接访问存储...原创 2019-05-20 23:30:03 · 296 阅读 · 0 评论 -
impala之查询
基本的语法跟hive的查询语句大体一样 Impala不支持CLUSTER BY,DISTRIBUTE BY,SORT BY Impala中不支持分桶表 Impala不支持COLLECT_SET(col)和explode(col)函数 Impala支持开窗函数[hadoop103:21000] > select name,orderdate,cost,sum(cost) ove...原创 2019-05-20 23:52:49 · 489 阅读 · 0 评论 -
impala之DML数据操作
数据导入(基本同hive类似)注意:impala不支持load data local inpath…数据的导出1.impala不支持insert overwrite…语法导出数据2.impala 数据导出一般使用 impala -o[root@hadoop103 ~]# impala-shell -q 'select * from student' -B --o...原创 2019-05-20 23:52:02 · 455 阅读 · 0 评论 -
impala之DDL数据定义
创建数据库CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path];注:Impala不支持WITH DBPROPERTIE…语法[hadoop103:21000] > create database db_hive...原创 2019-05-20 23:50:59 · 748 阅读 · 0 评论 -
impala优化
尽量将StateStore和Catalog单独部署到同一个节点,保证他们正常通信。 通过对Impala Daemon内存限制(默认256M)及StateStore工作线程数,来提高Impala的执行效率。 SQL优化,使用之前调用执行计划 选择合适的文件格式进行存储,提高查询效率。 避免产生很多小文件(如果有其他程序产生的小文件,可以使用中间表,将小文件数据存放到中间表。然后通过inser...原创 2019-05-20 23:47:14 · 538 阅读 · 0 评论 -
impala自定义函数
1.创建一个Maven工程Hive2.导入依赖<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.apache.hive&...原创 2019-05-20 23:46:07 · 2190 阅读 · 1 评论 -
Impala命令行操作
1.启动Impala[root@hadoop102 ~]# impala-shell2.查看数据库[hadoop102:21000] > show databases;3.打开默认数据库[hadoop102:21000] > use default;4.显示数据库中的表[hadoop102:21000] > show tables;5.创建...原创 2019-05-20 23:41:44 · 7877 阅读 · 1 评论 -
Impala的安装
mpala的地址Impala的官网http://impala.apache.org/ 2.Impala文档查看http://impala.apache.org/impala-docs.html下载地址http://impala.apache.org/downloads.htmlImpala的安装方式Cloudera Manager(CDH首推) 手动...原创 2019-05-20 23:34:49 · 159 阅读 · 0 评论 -
Impala的架构
从上图可以看出,Impala自身包含三个模块:Impalad、Statestore和Catalog,除此之外它还依赖Hive Metastore和HDFS。Impalad:接收client的请求、Query执行并返回给中心协调节点;子节点上的守护进程,负责向statestore保持通信,汇报工作。Catalog:分发表的元数据信息到各个impalad中;接收来自states...原创 2019-05-20 23:30:59 · 215 阅读 · 0 评论 -
impala存储和压缩
文件格式 压缩编码 Impala是否可直接创建 是否可直接插入 Parquet Snappy(默认), GZIP; Yes 支持:CREATE TABLE,INSERT, 查询 TextFile ...原创 2019-05-20 23:55:44 · 1209 阅读 · 0 评论