kettle操作mysql，hive，hbase，phoenix性能测试(使用笔记性能测试部分补充和更新)...

注：前提不泄露公司信息

Mysql数据库连接

主机名或 IP 地址: xxx

端口: xxx

数据库：xxx

用户名: xxxx

保存密码: xxxxx

1.1 mysql写入hive

（1）a表

数据量：99万+

字段数:6

写入时间：3.7s

速度：26万+ 条/s

效果图见图1.1。

图1.1 a表测试效果

（2）b表

数据量：2116万+

字段数:6

写入时间：67s

速度：31万+ 条/s

效果图见图1.2。

图1.2 heartbeat_log表测试效果

（1）    c表

数据量：18439万+

字段数:6

写入时间：772s

速度：23万+ 条/s

效果图见图1.3。

图1.3 c表测试效果

 

1.2 hive写到mysql

（1）a表

取数流程：hive-hdfs-mysql

数据量：99万+

字段数:6

写入时间：42m59s

速度：386 条/s

效果图见图1.4。

图1.4 测试结果

1.3 mysql-hbase

(1) d表(走内网)

数据量：23万+

字段数:64

写入时间：2m22s

速度：1618 条/s

效果图见图1.5。

图1.5 测试效果

d表(走外网)

数据量：32万+

字段数:64

写入时间：26m30s

速度：205 条/s

效果图见图1.5。

图1.5 测试效果

(2) a表

数据量：99万+

字段数:6

写入时间：2m11s

速度：7558 条/s

效果图见图1.6。

图1.6 测试效果

1.4 hbase-mysql

(1) d表

数据量：32万+

字段数:64

写入时间：16m2s

速度：339 条/s

效果图见图1.7。

图1.7 测试效果

(2) a表

数据量：99万+

字段数:6

写入时间：48m（估算）

速度：363 条/s

效果图见图1.8。

图1.8 测试效果