Impala与Hbase整合用于ETL过程尝试（1）

最新推荐文章于 2022-12-20 10:57:44 发布
最新推荐文章于 2022-12-20 10:57:44 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： hbase 文章标签： impala hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fishhunter/article/details/50313785
版权

一、      目标

最近我接到这样一个需求：做一张大宽表（100+字段）的加工、存储，宽表由多个副表join关联生成，目前基于Impala类的sql over hadoop实现，由于其中某一个副表信息变动导致大宽表需要执行回溯，现有的技术框架下均不支持update操作，被迫全表擦除重入(truncate+insert)，代价比较大，能否进行部分字段的更新？我想到hbase存宽表 ,Impal与其结合可通过sql方式进行更新，包括查询和数据回写都可以SQL方式实现，让人感知不到后台是hbase.

另外还有一个潜在的考虑方面，hbase并不适合于类impala的即席统计，需要做一次输出转储，那么将hbase中的数据再导出至 Impala的过程耗时会有多久？

我这里先观察功能，后验证性能。

二、      基础数据准备

1.      在hbase中创建表，并塞入样本数据

 

create 'cust_info', 'cf_01', 'cf_02','cf_03'

 

#塞入1记录，30个字段

put 'cust_info',  '1000000001', 'cf_01:col_01_01', 'val_01_01_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_02', 'val_01_02_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_03', 'val_01_03_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_04', 'val_01_04_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_05', 'val_01_05_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_06', 'val_01_06_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_07', 'val_01_07_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_08',  'val_01_08_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_07', 'val_01_09_1000000001'

put 'cust_info',  '1000000001', 'cf_01:col_01_10', 'val_01_10_1000000001'

 

put 'cust_info',  '1000000001', 'cf_02:col_02_01', 'val_02_01_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_02', 'val_02_02_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_03', 'val_02_03_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_04', 'val_02_04_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_05', 'val_02_05_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_06', 'val_02_06_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_07', 'val_02_07_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_08',  'val_02_08_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_07', 'val_02_09_1000000001'

put 'cust_info',  '1000000001', 'cf_02:col_02_10', 'val_02_10_1000000001'

 

put 'cust_info',  '1000000001', 'cf_03:col_03_01', 'val_03_01_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_02', 'val_03_02_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_03', 'val_03_03_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_04', 'val_03_04_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_05', 'val_03_05_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_06', 'val_03_06_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_07', 'val_03_07_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_08', 'val_03_08_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_07', 'val_03_09_1000000001'

put 'cust_info',  '1000000001', 'cf_03:col_03_10', 'val_03_10_1000000001'

 

put 'cust_info',  '1000000002', 'cf_01:col_01_01', 'val_01_01_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_02', 'val_01_02_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_03', 'val_01_03_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_04', 'val_01_04_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_05', 'val_01_05_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_06', 'val_01_06_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_07', 'val_01_07_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_08', 'val_01_08_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_07', 'val_01_09_1000000002'

put 'cust_info',  '1000000002', 'cf_01:col_01_10', 'val_01_10_1000000002'

 

put 'cust_info',  '1000000002', 'cf_02:col_02_01', 'val_02_01_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_02', 'val_02_02_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_03',  'val_02_03_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_04', 'val_02_04_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_05', 'val_02_05_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_06', 'val_02_06_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_07', 'val_02_07_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_08', 'val_02_08_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_07', 'val_02_09_1000000002'

put 'cust_info',  '1000000002', 'cf_02:col_02_10', 'val_02_10_1000000002'

 

put 'cust_info',  '1000000002', 'cf_03:col_03_01', 'val_03_01_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_02', 'val_03_02_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_03', 'val_03_03_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_04', 'val_03_04_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_05', 'val_03_05_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_06', 'val_03_06_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_07', 'val_03_07_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_08', 'val_03_08_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_07',  'val_03_09_1000000002'

put 'cust_info',  '1000000002', 'cf_03:col_03_10', 'val_03_10_1000000002'

 

put 'cust_info',  '1000000003', 'cf_01:col_01_01', 'val_01_01_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_02', 'val_01_02_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_03', 'val_01_03_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_04', 'val_01_04_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_05', 'val_01_05_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_06', 'val_01_06_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_07', 'val_01_07_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_08',  'val_01_08_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_07', 'val_01_09_1000000003'

put 'cust_info',  '1000000003', 'cf_01:col_01_10', 'val_01_10_1000000003'

 

put 'cust_info',  '1000000003', 'cf_02:col_02_01', 'val_02_01_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_02', 'val_02_02_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_03', 'val_02_03_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_04', 'val_02_04_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_05', 'val_02_05_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_06', 'val_02_06_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_07', 'val_02_07_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_08', 'val_02_08_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_07', 'val_02_09_1000000003'

put 'cust_info',  '1000000003', 'cf_02:col_02_10', 'val_02_10_1000000003'

 

put 'cust_info',  '1000000003', 'cf_03:col_03_01', 'val_03_01_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_02', 'val_03_02_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_03', 'val_03_03_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_04',  'val_03_04_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_05', 'val_03_05_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_06', 'val_03_06_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_07', 'val_03_07_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_08', 'val_03_08_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_07', 'val_03_09_1000000003'

put 'cust_info',  '1000000003', 'cf_03:col_03_10', 'val_03_10_1000000003'

 

2.      在hive中创建外部表

 

CREATE EXTERNAL TABLE hbase_cust_info(

cust_id string,

col_01_01 string,

col_01_02 string,

col_01_03 string,

col_01_04 string,

col_01_05 string,

col_01_06 string,

col_01_07 string,

col_01_08 string,

col_01_09 string,

col_01_10 string,

col_02_01 string,

col_02_02 string,

col_02_03 string,

col_02_04 string,

col_02_05 string,

col_02_06 string,

col_02_07 string,

col_02_08 string,

col_02_09 string,

col_02_10 string,

col_03_01 string,

col_03_02 string,

col_03_03 string,

col_03_04 string,

col_03_05 string,

col_03_06 string,

col_03_07 string,

col_03_08 string,

col_03_09 string,

col_03_10 string

) ROW FORMAT SERDE'org.apache.hadoop.hive.hbase.HBaseSerDe'

STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key, cf_01:col_01_01, cf_01:col_01_02,cf_01:col_01_03, cf_01:col_01_04, cf_01:col_01_05, cf_01:col_01_06,cf_01:col_01_07, cf_01:col_01_08, cf_01:col_01_07, cf_01:col_01_10,cf_02:col_02_01, cf_02:col_02_02, cf_02:col_02_03, cf_02:col_02_04,cf_02:col_02_05, cf_02:col_02_06, cf_02:col_02_07, cf_02:col_02_08,cf_02:col_02_07, cf_02:col_02_10, cf_03:col_03_01, cf_03:col_03_02,cf_03:col_03_03, cf_03:col_03_04, cf_03:col_03_05, cf_03:col_03_06,cf_03:col_03_07, cf_03:col_03_08, cf_03:col_03_07, cf_03:col_03_10")

TBLPROPERTIES("hbase.table.name"= "cust_info");

 

3.      在hive和impala-shell中查询测试

很不幸，在impala-shell中，遇到一个问题。这个在以前没有遭遇到。

Query: describe hbase_cust_info

+-----------+--------+---------+

| name     | type   | comment |

+-----------+--------+---------+

| cust_id  | string |         |

| col_01_01 | string |         |

| col_01_02 | string |         |

| col_01_03 | string |         |

| col_01_04 | string |         |

| col_01_05 | string |         |

| col_01_06 | string |         |

| col_01_07 | string |         |

| col_01_09 | string |         |

| col_01_08 | string |         |

| col_01_10 | string |         |

| col_02_01 | string |         |

| col_02_02 | string |         |

| col_02_03 | string |         |

| col_02_04 | string |         |

| col_02_05 | string |         |

| col_02_06 | string |         |

| col_02_07 | string |         |

| col_02_09 | string |         |

| col_02_08 | string |         |

| col_02_10 | string |         |

| col_03_01 | string |         |

| col_03_02 | string |         |

| col_03_03 | string |         |

| col_03_04 | string |         |

| col_03_05 | string |         |

| col_03_06 | string |         |

| col_03_07 | string |         |

| col_03_09 | string |         |

| col_03_08 | string |         |

| col_03_10 | string |         |

+-----------+--------+---------+

Fetched 31 row(s) in 0.02s

[bd-133:21000] > SELECT * FROMhbase_cust_info ;

Query: select * FROM hbase_cust_info

{color:red}ERROR:NoSuchMethodError: org.apache.hadoop.hbase.Cell.getTagsLength()I{color}

三、      问题解决

 看错误提示与hbase的类有关，进一步分析应该是hbase版本冲突，导致加载包出现偏差。

通过关键字搜hbase*.0.9*.jar（当前已升级到1.0，故老的版本是不需要的），/var/lib/impala是我在之前手动安装impala期间拷贝的包，将其重命名后解决

mv /var/lib/impala/hbase-client-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-client-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-hadoop-compat-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-hadoop-compat-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-testing-util-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-testing-util-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-hadoop2-compat-0.98.6-cdh5.3.3-tests.jar  /var/lib/impala/hbase-hadoop2-compat-0.98.6-cdh5.3.3-tests.jar_

mv /var/lib/impala/hbase-examples-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-examples-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-common-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-common-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-prefix-tree-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-prefix-tree-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-protocol-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-protocol-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-server-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-server-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-hadoop-compat-0.98.6-cdh5.3.3-tests.jar  /var/lib/impala/hbase-hadoop-compat-0.98.6-cdh5.3.3-tests.jar_

mv /var/lib/impala/hbase-thrift-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-thrift-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-server-0.98.6-cdh5.3.3-tests.jar   /var/lib/impala/hbase-server-0.98.6-cdh5.3.3-tests.jar_

mv /var/lib/impala/hbase-hadoop2-compat-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-hadoop2-compat-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-it-0.98.6-cdh5.3.3.jar             /var/lib/impala/hbase-it-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-shell-0.98.6-cdh5.3.3.jar   /var/lib/impala/hbase-shell-0.98.6-cdh5.3.3.jar_

mv /var/lib/impala/hbase-common-0.98.6-cdh5.3.3-tests.jar   /var/lib/impala/hbase-common-0.98.6-cdh5.3.3-tests.jar_

mv /var/lib/impala/hbase-it-0.98.6-cdh5.3.3-tests.jar   /var/lib/impala/hbase-it-0.98.6-cdh5.3.3-tests.jar_

 

 

fishhunter
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
简单之美 Impala与HBase整合实践
07-25
对于复杂的查询统计类需求，如果直接基于HBase API来实现，性能非常差，或者，可以通过实现MapReduce程序来进行查询分析，这也继承了MapReduce所具备的延迟性。
Impala与HBase整合
weixin_34381666的博客
04-29 233
     　　不多说，直接上干货！               Impala可以通过Hive外部表方式和HBase进行整合，步骤如下：　　• 步骤1：创建hbase 表，向表中添加数据 create 'test_info', 'info' put 'test_info','1','info:name','zhangsan’ put 'test_info','2',...
impala同步hive数据
hi_23
11-13 6173
参考链接 Impala与HBase整合实践
Impala整合HBase
yinhudongtian的专栏
01-02 326
将HBase配置文件hbase-site.xml拷贝到$IMPALA_HOME/conf目录下，或者手工创建一个hbase-site.xml文件，只需添加hbase.zookeeper.quorum属性值即可。 在HBase中创建与Hive关联的表，可以通过HBase Shell或者程序创建，此文通过shell创建，命令如下： >create ‘table_name’,’d’...
Impala与Hive的比较
03-01
Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN...
Impala-Kudu-HBase-Spark安装文档
07-24
Impala-Kudu-HBase-Spark安装文档
springboot+mybatis+impala/mysql整合Demo
05-07
springboot+mybatis+impala/mysql整合Demo ， 内嵌PageHelper插件已整合，需要根据pom.xml中的备注操作即可使用mysql和PageHelper, impala 不支持PageHelper插件
离线数据系统之Impala与Hbase整合
lixinkuan的博客
09-16 343
Impala可以通过Hive外部表方式和HBase进行整合，步骤如下：• 步骤1：创建hbase 表，向表中添加数据 create'test_info','info' put'test_info','1','info:name','zhangsan’ put 'test_info','2','info:name','lisi' • 步骤2：创建hive表 CREATEEXTERN...
6.4 Impala和HBase进行整合,JDBC
心雨先生
06-22 499
Impala可以通过Hive外部表方式和HBase进行整合步骤1：创建hbase 表，向表中添加数据create 'test_info', 'info'put 'test_info','1','info:name','zhangsan'put 'test_info','2','info:name','lisi'• 步骤2：创建hive表CREATE EXTERNAL TABLE test_info...
Impala与HBase整合实践
shixiaoguo90的专栏
02-11 4167
实现Impala与HBase整合，我们能够获得的好处有如下几个：可以使用我们熟悉的SQL，像操作传统关系型数据库一样，很容易给出复杂查询、统计分析的SQL设计Impala查询统计分析，比原生的MapReduce以及Hive的执行速度快很多我们知道，HBase是一个基于列的NoSQL数据库，它可以实现的数据的灵活存储。它本身是一个大表，在一些应用中，通过设计RowKey，可以实现对海量数据的快速存储...
Impala数据处理（加载和存储）
weixin_33905756的博客
04-29 292
      　　不多说，直接上干货！                  Hive与Impala都是构建在Hadoop之上的数据查询工具，那么在实际的应用中，它们是如何加载和存储数据的呢？ Hive和Impala存储和加载表，和所有的关系型数据库一样，有自己的数据管理结构，从它的Server到Database再到表和视图。 　　在其他的数据库中，表都是以自己特定的文件格...
和impala_Impala之存储和压缩
weixin_39908462的博客
12-06 171
注：impala不支持ORC格式1.创建parquet格式的表并插入数据进行查询[hadoop104:21000] > create table student2(id int, name string) > row format delimited > fields terminated by ‘t’ ...
Impala与Hbase整合用于ETL过程尝试（2）
fishhunter的博客
12-16 830
一、      Update操作验证   1.      创建关联副表，用于主键关联update主表   drop table if exists cust_tab01 ; create table if not exists cust_tab01 ( cust_id string, col_01_01 string, col_01_02 string, col_01_03 s
大数据培训Impala之存储和压缩
zjjcchina的博客
12-20 509
2.创建sequenceFile格式的表，插入数据时报错。1.创建parquet格式的表并插入数据进行查询。注：impala不支持ORC格式。
Impala入门详解
05-10 962
最近在学习Impala就去官网学习了下,写成博客方便查找,必然我们要贴出官网了: 官网 使用手册 Sql 窗口函数 基本操作 impala-shell 1 概述 Apache Impala是Apache Hadoop的开源原生分析数据库; Impala于2017年11月15日从Apache孵化成顶级项目。在以前称为“Cloudera Impala”的文档中，现在的官方名称是“Apache Imp...
创建存储过程学习-
lilang的博客
08-07 413
DELIMITER &&      CREATE PROCEDURE create_table ()      LANGUAGE SQL      BEGIN      CREATE TABLE `user` (        `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT '主键',        `real_name` VARCHAR(8)
和impala_Impala 技术总结
weixin_39563132的博客
12-05 375
一．基本介绍Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。优点1. Impala不需要把中间结果写入磁盘，省...
未明确定义列存储过程没问题_使用Apache Kudu和Impala实现存储分层
weixin_29495679的博客
01-06 306
当为应用程序的数据选择一个存储系统时，我们通常会选择一个最适合我们业务场景的存储系统。对于快速更新和实时分析工作较多的场景，我们可能希望使用 Apache Kudu ，但是对于低成本的大规模可伸缩性场景，我们可能希望使用 HDFS 。因此，需要一种解决方案使我们能够利用多个存储系统的最佳特性。本文介绍了如何使用 Apache Impala 的滑动窗口模式，操作存储在 Apache Kudu 和 A...
apache atlas可以与impala整合
最新发布
08-05
Apache Atlas 与 Impala 可以进行整合，以实现更好的数据治理和元数据管理。具体来说，整合的好处主要有以下几点： 1. 元数据管理：Apache Atlas 可以通过其丰富的元数据模型来管理 Impala 的数据资产。它可以自动...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值