sqoop操作hive，mysql性能测试

2019独角兽企业重金招聘Python工程师标准>>>

注：前提不屑露公司信息

1、从MySQL同时写HIVE与HDFS数据

1.1、R

Ø  数据量：36万

Ø  字段数：6

Ø  写入耗时：46s

 

1.2、a

Ø  数据量：130万

Ø  字段数：6

Ø  写入耗时：46s

 

1.3、H

Ø  数据量：2116万

Ø  字段数：6

Ø  写入耗时：90s

 

1.4、l

Ø  数据量：12000万

Ø  字段数：6

Ø  写入耗时：300s

1.5、O

Ø  数据量：256万

Ø  字段数：47

Ø  写入耗时：60s

 

 

2、从HIVE写MySQL数据

2.1、R

Ø  数据量：36万

Ø  目标表：r_sqooptest

Ø  字段数：6

Ø  写入耗时：145s

 

 

2.2、a

Ø  数据量：130万

Ø  目标表：aa_sqooptest

Ø  字段数：6

Ø  写入耗时：536s

 

转载于:https://my.oschina.net/zhouwang93/blog/1620849