kettle操作mysql，hive，hbase，phoenix性能测试(使用笔记性能测试部分补充和更新)...

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量604 收藏
点赞数
文章标签： 大数据 数据库 python
原文链接：https://my.oschina.net/zhouwang93/blog/1620848
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

注：前提不泄露公司信息

Mysql数据库连接

主机名或 IP 地址: xxx

端口: xxx

数据库：xxx

用户名: xxxx

保存密码: xxxxx

1.1 mysql写入hive

（1）a表

数据量：99万+

字段数:6

写入时间：3.7s

速度：26万+ 条/s

效果图见图1.1。

182144_g6aE_3323164.png

图1.1 a表测试效果

（2）b表

数据量：2116万+

字段数:6

写入时间：67s

速度：31万+ 条/s

效果图见图1.2。

182201_JVv2_3323164.png

图1.2 heartbeat_log表测试效果

（1）    c表

数据量：18439万+

字段数:6

写入时间：772s

速度：23万+ 条/s

效果图见图1.3。

182225_QqkH_3323164.png

图1.3 c表测试效果

 

1.2 hive写到mysql

（1）a表

取数流程：hive-hdfs-mysql

数据量：99万+

字段数:6

写入时间：42m59s

速度：386 条/s

效果图见图1.4。

182250_YgGW_3323164.png

图1.4 测试结果

1.3 mysql-hbase

(1) d表(走内网)

数据量：23万+

字段数:64

写入时间：2m22s

速度：1618 条/s

效果图见图1.5。

182708_eJqe_3323164.png

图1.5 测试效果

d表(走外网)

数据量：32万+

字段数:64

写入时间：26m30s

速度：205 条/s

效果图见图1.5。

182720_KVwj_3323164.png

图1.5 测试效果

(2) a表

数据量：99万+

字段数:6

写入时间：2m11s

速度：7558 条/s

效果图见图1.6。

182730_NZTr_3323164.png

图1.6 测试效果

1.4 hbase-mysql

(1) d表

数据量：32万+

字段数:64

写入时间：16m2s

速度：339 条/s

效果图见图1.7。

182741_iXtA_3323164.png

图1.7 测试效果

(2) a表

数据量：99万+

字段数:6

写入时间：48m（估算）

速度：363 条/s

效果图见图1.8。

182753_uB6T_3323164.png

图1.8 测试效果

1.5 mysql –phoenix

(1) d表（无自建列簇）

数据量：32万+

字段数:64

提交速度：5000条/s

写入时间：2m52s

速度：19222 条/s

列簇：无

Phoenix建表DDL如下：

  CREATE TABLE d_withoutcolumnfamily

(

  id INTEGER NOT NULL PRIMARY KEY

, a VARCHAR(45)

,b VARCHAR(45)

, c VARCHAR(45)

, d VARCHAR(45)

, e INTEGER

, f INTEGER

, g INTEGER

,h INTEGER

, i INTEGER

, j SMALLINT

,k INTEGER

, l INTEGER

, m_status INTEGER

, n INTEGER

,o VARCHAR(45)

, pVARCHAR(45)

, q DOUBLE(17, 14)

, r DOUBLE(17, 14)

, s VARCHAR(300)

, t DOUBLE(17, 14)

, u DOUBLE(17, 14)

, v VARCHAR(300)

, w DOUBLE (20,2)

, x DOUBLE (20,2)

, y DOUBLE (20,2)

, z DOUBLE (20,2)

, aa DOUBLE (20,2)

, bb DOUBLE(10, 1)

, cc DOUBLE(14, 2)

, dd DOUBLE (20,2)

, ee DOUBLE (20,2)

, ff DOUBLE(14, 2)

, gg DOUBLE(14, 2)

, hh DOUBLE(14, 2)

, ii DOUBLE(14, 2)

, jj DOUBLE(14, 2)

, kk DOUBLE(14, 2)

, ll DOUBLE(14, 2)

, mm DOUBLE(14, 2)

, nn DOUBLE(14, 2)

, oo DOUBLE(14, 2)

, pp DOUBLE(14, 2)

, qq DOUBLE(14, 2)

, rr DOUBLE(14, 2)

, ss DOUBLE(14, 2)

, tt TIMESTAMP

, uu TIMESTAMP

, vv TIMESTAMP

, ww TIMESTAMP

, ss TIMESTAMP

, yy TIMESTAMP

, zz TIMESTAMP

, aaa TIMESTAMP

, bbb TIMESTAMP

, ccc TIMESTAMP

, ddd TIMESTAMP

, eee VARCHAR(80)

, fff INTEGER

, ggg VARCHAR(125)

, hhh VARCHAR(255)

, iii VARCHAR(60)

);

效果图见图1.9。

182825_jrDg_3323164.png

图1.9 测试效果

(2) d表（自建一个列簇）

数据量：32万+

字段数:64

提交速度：5000条/s

写入时间：2m46s

速度：1983 条/s

列簇：order_info

Phoenix建表DDL如下：

CREATE TABLE d_with_one_columnfamily

(

  id INTEGER NOT NULL PRIMARY KEY

,order_info.a VARCHAR(45)

, order_info.b VARCHAR(45)

,order_info.c VARCHAR(45)

,order_info.d VARCHAR(45)

,order_info.e INTEGER

,order_info.f INTEGER

,order_info.g INTEGER

,order_info.h INTEGER

,order_info.i INTEGER

, order_info.j SMALLINT

, order_info.k INTEGER

, order_info.l INTEGER

, order_info.m INTEGER

, order_info.n INTEGER

, order_info.o VARCHAR(45)

, order_info.p VARCHAR(45)

, order_info.q DOUBLE(17, 14)

, order_info.r DOUBLE(17, 14)

, order_info.s VARCHAR(300)

, order_info.t DOUBLE(17, 14)

, order_info.uDO UBLE(17, 14)

, order_info.v VARCHAR(300)

, order_info.w DOUBLE (20,2)

, order_info.x DOUBLE (20,2)

,order_info.y DOUBLE (20,2)

,order_info.z DOUBLE (20,2)

, order_info.aa DOUBLE (20,2)

, order_info.bb DOUBLE(10, 1)

, order_info.cc DOUBLE(14, 2)

, order_info.dd DOUBLE (20,2)

, order_info.ee DOUBLE (20,2)

, order_info.ff DOUBLE(14, 2)

, order_info.gg DOUBLE(14, 2)

, order_info.hh DOUBLE(14, 2)

, order_info.ii DOUBLE(14, 2)

, order_info.jj DOUBLE(14, 2)

, order_info.kk DOUBLE(14, 2)

, order_info.ll DOUBLE(14, 2)

, order_info.mm DOUBLE(14, 2)

, order_info.nn DOUBLE(14, 2)

, order_info.oo DOUBLE(14, 2)

, order_info.pp DOUBLE(14, 2)

, order_info.qq DOUBLE(14, 2)

, order_info.rr DOUBLE(14, 2)

, order_info.ss DOUBLE(14, 2)

, order_info.tt TIMESTAMP

, order_info.uu TIMESTAMP

, order_info.vv TIMESTAMP

, order_info.ww TIMESTAMP

, order_info.xx TIMESTAMP

, order_info.yy TIMESTAMP

, order_info.zz TIMESTAMP

, order_info.aaa TIMESTAMP

, order_info.bbb TIMESTAMP

, order_info.ccc TIMESTAMP

, order_info.ddd TIMESTAMP

, order_info.eee VARCHAR(80)

, order_info.fff INTEGER

, order_info.ggg VARCHAR(125)

, order_info.hhh VARCHAR(255)

, order_info.iii VARCHAR(60)

, order_info.jjj DOUBLE(14, 2)

, order_info.kkk DOUBLE(14, 2)

);

效果图见图1.10。

182853_TB5l_3323164.png

图1.10 测试效果

 

(3) d表（自建5个列簇）

数据量：32万+

字段数:64

提交速度：5000条/s

写入时间：3m9s

速度：1742 条/s

列簇：driver_info,customer_info,payment_info,order_info, movement_info

Phoenix建表DDL如下：

CREATE TABLE d

(

  aa INTEGER NOT NULL PRIMARY KEY

, driver_info.bb VARCHAR(45)

, customer_info.cc VARCHAR(45)

, driver_info.dd VARCHAR(45)

, driver_info.ee VARCHAR(45)

, driver_info.ff INTEGER

, driver_info.gg INTEGER

, driver_info.hh INTEGER

, driver_info.ii INTEGER

, driver_info.jj INTEGER

, order_info.kk SMALLINT

, order_info.ll INTEGER

, payment_info.mm INTEGER

, payment_info.nn INTEGER

, order_info.oo INTEGER

, order_info.pp VARCHAR(45)

, order_info.qq VARCHAR(45)

, movement_info.rr DOUBLE(17, 14)

, movement_info.ss DOUBLE(17, 14)

, movement_info.tt VARCHAR(300)

, movement_info.uu DOUBLE(17, 14)

, movement_info.vv DOUBLE(17, 14)

, movement_info.ww VARCHAR(300)

, customer_info.xx DOUBLE (20,2)

, customer_info.yy DOUBLE (20,2)

, driver_info.zz DOUBLE (20,2)

, driver_info.aaa DOUBLE (20,2)

, order_info.bbb DOUBLE (20,2)

, order_info.ccc DOUBLE(10, 1)

, order_info.ddd DOUBLE(14, 2)

, order_info.eee DOUBLE (20,2)

, order_info.fff DOUBLE (20,2)

, payment_info.ggg DOUBLE(14, 2)

, payment_info.hhh DOUBLE(14, 2)

, payment_info.iii DOUBLE(14, 2)

, payment_info.jjj DOUBLE(14, 2)

, payment_info.kkk DOUBLE(14, 2)

, payment_info.lll DOUBLE(14, 2)

, payment_info.mmm DOUBLE(14, 2)

, payment_info.nnn DOUBLE(14, 2)

, order_info.ooo DOUBLE(14, 2)

, payment_info.ppp DOUBLE(14, 2)

, payment_info.qqq DOUBLE(14, 2)

, order_info.rrr DOUBLE(14, 2)

, order_info.sss DOUBLE(14, 2)

, order_info.ttt DOUBLE(14, 2)

, order_info.uuu  TIMESTAMP

, order_info.vvv  TIMESTAMP

, order_info.www  TIMESTAMP

, order_info.xxx  TIMESTAMP

, order_info.yyy  TIMESTAMP

, order_info.zzz  TIMESTAMP

, order_info.aaaa  TIMESTAMP

, order_info.bbbb TIMESTAMP

, order_info.cccc  TIMESTAMP

, order_info.dddd  TIMESTAMP

, order_info.eeee  TIMESTAMP

, order_info.ffff VARCHAR(80)

, order_info.gggg INTEGER

, order_info.hhhh VARCHAR(125)

, order_info.iiii VARCHAR(255)

, order_info.jjjj VARCHAR(60)

, order_info.kkkk DOUBLE(14, 2)

, order_info.llll DOUBLE(14, 2)

);

效果图见图1.11。

182916_Hj8L_3323164.png

图1.11测试性能

 (4)a表（无自建列簇）

数据量：99万+

字段数:6

写入时间：69s/一次commit 10000条，59s/一次commit 50000条。

速度：14263条/s和16756条/s。

Phoenix建表DDL如下：

CREATE TABLE a

(

  id INTEGER PRIMARY KEY

, aaa INTEGER

, bbb VARCHAR(45)

, ccc DOUBLE(20,2)

, ddd  TIMESTAMP

, eee VARCHAR(255)

);

效果图见图1.12-1.13。

182934_Gb8L_3323164.png

图1.12 10000条提交一次测试效果

182939_E8zm_3323164.png

图1.13 50000条提交一次测试效果

(5) a表（自建两列簇）

数据量：99万+

字段数:6

提交速度：50000条/s

列簇：order_info,remark_info

写入时间：64s

速度：15423条/s。

Phoenix建表DDL如下：

CREATE TABLE a_with_columnFamily

(

  id INTEGER PRIMARY KEY

, order_info.aaa INTEGER

, order_info.bbb VARCHAR(45)

, order_info.ccc DOUBLE (20,2)

, order_info.ddd  TIMESTAMP

, remark_info.eeee VARCHAR(255)

);

效果图见图1.14。

183006_DvKL_3323164.png

图1.14 测试效果

1.6 phoenix-mysql

（1）d(5个自建列簇)

数据量：32万+

字段数:64

提交速度：5000条/s

写入时间：14m24s

速度：382 条/s

效果图见图1.15。

183014_G1HL_3323164.png

图1.15 测试效果

(2)d_with_one_columnfamily

数据量：32万+

字段数:64

提交速度：5000条/s

写入时间：15m47s

速度：349 条/s

效果图见图1.16。

 

183024_pVnZ_3323164.png

图1.16 测试效果

(3) d_without_columnfamily

数据量：32万+

字段数:64

提交速度：5000条/s

写入时间：15m2s

速度：366条/s

效果图见图1.17。

183032_nf24_3323164.png

图1.17 测试效果

（4）a（没自建列簇）

数据量：99万+

字段数:6

提交速度：5000条/s

写入时间：42m (预估)

速度：406条/s。

效果图见图1.18。

183039_7ff8_3323164.png

图1.18 测试效果

(5)a_with_columnfamily(2个列簇)

数据量：99万+

字段数:6

提交速度：5000条/s

写入时间：42m(预估)

速度：401条/s。

效果图见图1.19。

183048_kNd5_3323164.png

图1.19 测试效果

1.7 hive-hbase

（1）a

策略：hive-hdfs-hbase

字段：6

写入速度：hive-hdfs:12403条/s；hdfs-hbase:16554条/s。

效果图见图1.20-21。

183057_KRxz_3323164.png

图1.20 a-hive-hdfs

183103_INtO_3323164.png

图1.21 a-Hdfs-hbase

（2）d

策略：hive-hdfs-hbase

字段：64

写入速度：hive-hdfs:4372条/s；

效果图见图1.22-23。

183115_Rl9E_3323164.png

图1.22 d-hive-hdfs

   Hdfs-hbase会报错：因为hregionserver挂了。

183122_0ZRh_3323164.png

图1.23 hdfs2hbase错误信息

之后还是会报错：The table key "id" defined in mapping "hdfs2hbase" does not seem to be present in the incoming fields，因为hive没有主键。

1.8 hbase-hive

（1）a

策略：hbase-hdfs-load2hive

字段：6

写入速度：hbase-hdfs:18809条/s；

效果图见图1.24。

183133_zAx4_3323164.png

图1.24 a-hbase-hdfs

（1）d

策略：hbase-hdfs-load2hive

字段：64

写入速度：hbase-hdfs:4880条/s；

效果图见图1.25。

183142_8StB_3323164.png

图1.25 d-hbase-hdfs

 

转载于:https://my.oschina.net/zhouwang93/blog/1620848

weixin_34258838
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kettle使用笔记（hive,hbase性能测试篇）
qq_26777585的博客
02-07 190
注：老规矩不泄露公司信息 Mysql数据库连接 主机名或 IP 地址: xxxxx 端口: xxx 数据库：xxxxx 用户名: xxxxxx 保存密码...
kettle操作phoenix，强行中断造成死锁
qq_26777585的博客
01-26 450
######mysql-phoenix数据量太大且列很多的时候，速度很慢，如果中断kettle任务的话，会造成kettle资源库锁死。 Couldn't execut...
【ETL工具】Kettle 整合大数据平台（Hadoop、Hive、HBase）
康师傅没有眼泪
02-14 6043
目录一、Kettle整合Hadoop1、 整合步骤2、Hadoop file input组件3、Hadoop file output组件二、Kettle整合Hive1、初始化数据2、 kettle与Hive 整合配置3、从hive 中读取数据4、把数据保存到hive数据库5、Hadoop Copy Files组件6、执行Hive的HiveSQL语句三、Kettle整合HBase1、HBase初始化2. HBase input组件3、HBase output组件环境 kettle 8.2 版本：kettle
10分钟数仓实战kettle整合hive
搞数据
12-22 436
在common文件夹下的hadoop-common-3.3.2.jar文件把jar包下载后放在\data-integration\lib目录下如果此时kettle是打开状态，需要重启，才能生效。
Kettle 解决数据同步缓慢及性能效率问题 (数据同步利用时间戳解耦，性能通过配置优化提升90%)
m0_56659620的博客
02-01 3187
在数据同步过程中，缓慢的同步速度和低效率的性能往往是令人头痛的问题。本文将介绍如何通过Kettle解决数据同步缓慢及性能效率问题，其中主要涉及数据同步利用时间戳解耦和通过配置优化提升性能高达90%的方法。在先前的博客文章中，我们配置了Kettle在Docker中的部署过程，以及如何配置和运行Sqlserver到Mysql的数据同步任务。同时结合Start定时任务，实现定时调度的功能，确保数据同步任务的稳定运行。
mysql-to-hive.ktr
02-04
从数据库(mysql)中读取数据写入HDFS并建hive表；在该转换中，需要配置2个DB链接（Mysql和HiveServer2），配置Hadoop集群（HDFS），配置子服务器（远程执行服务器）。需要实践的元数据文件：mysql-to-hive.ktr
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
数据库迁移性能测试方案（实例）
05-17
数据库迁移性能测试方案（实例） 本次性能测试项目特点是对数据库迁移前后两种数据库下的系统进行性能测试，需要对两种数据库下性能指标进行对比分析
kettle下MySQL数据库驱动.zip
06-19
"kettle下MySQL数据库驱动.zip"文件是为了解决Kettle在与MySQL数据库交互时遇到的连接问题，通过将驱动放入指定的lib目录，可以确保Kettle能够正确识别并使用MySQL的JDBC驱动，从而实现数据的提取、转换和加载。
Kettle(PDI-Pentaho Data Integration)7.1安装与性能测试
dlke03的博客
02-12 1569
Windows环境安装 安装版本：7.1 基础环境：JDK1.8u144 下载路径：https://sourceforge.net/projects/pentaho/files/Data Integration/ 解压缩即可使用，绿色无污染 SqlServer连接 下载路径http://www.microsoft.com/zh-cn/download/details.aspx?id=11774，解...
kettle对phoenix操作
weixin_34025051的博客
01-26 545
2019独角兽企业重金招聘Python工程师标准>>> ...
KETTLE效率小测试
m2008m的专栏
01-22 1509
最近做了一下关于ETL抽取工具的效率测试，测试结果见图。
Phoenix与MySQL的区别_Phoenix SQL语法
weixin_42530536的博客
02-28 427
数据库CREATE SCHEMACREATE SCHEMA [IF NOT EXISTS] 数据库名字0: jdbc:phoenix:CentOS> create schema if not exists jiangzz;Error: ERROR 725 (43M08): Cannot create schema because config phoenix.schema.isNamespa...
Hbase性能优化【Phoenix、Hive集成HBase】
lyq7269的博客
07-21 1479
一、Phoenix概述 Phoenix简介 构建在HBase上的SQL层 使用标准SQL在HBase中管理数据 使用JDBC来创建表，插入数据、对HBase数据进行查询 Phoenix JDBC Driver容易嵌入到支持JDBC的程序中 Phoenix使HBase更易用 Phoenix应用场景 Phoenix适合场景 快速而容易地构建基于HBase的应用程序 需要极大的规模、性能和并发性的SQL应用程序 在转换到Hadoop时重用已有的SQL技能 BI工具（对SQL支持较好） Phoenix不适合
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 949
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
Kettle集成Hadoop、Hive与HBase：从配置到实战教程
本文档主要介绍了如何使用Kettle这个工具来整合大数据平台，包括Hadoop、Hive和HBase。Kettle是一个强大的数据集成工具，它支持多种数据源和目标系统的连接，使得在大数据环境中进行数据处理和迁移变得更加方便。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值