测试hive

最新推荐文章于 2024-07-01 23:48:28 发布
最新推荐文章于 2024-07-01 23:48:28 发布
阅读量213 收藏
点赞数
文章标签： 大数据 python
原文链接：https://my.oschina.net/u/3115904/blog/839486
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、准备数据

 

造数据脚本 ： gendata.sh

#!/bin/bash

file=$1

s=$2

touch $file

for((i=0;i<10000000;i++))

do

str=','$s;

name=${i}${str}${i}

#echo $name

echo  $name>> $file

done

 

echo 'show testdata'

head $file

 

造数据：

先造十个小文件，每个1000w记录：

bash gendata.sh  name.txt name ; bash gendata.sh  zhuzhi.txt zhuzhi ; bash gendata.sh minzu.txt minzu ; bash gendata.sh  jg.txt jg ;bash gendata.sh gj.txt gj ; bash gendata.sh dz.txt dz ; bash gendata.sh abcd.txt abcd ; bash gendata.sh efgh.txt efgh ; bash gendata.sh  xyz.txt xyz ;bash gendata.sh  opq.txt opq

 

total 1.8G

-rw-r--r-- 1 root root 189M Feb  9 10:35 abcd.txt

-rw-r--r-- 1 root root 170M Feb  9 10:32 dz.txt

-rw-r--r-- 1 root root 189M Feb  9 10:38 efgh.txt

-rw-r--r-- 1 root root 170M Feb  9 10:28 gj.txt

-rw-r--r-- 1 root root 170M Feb  9 10:25 jg.txt

-rw-r--r-- 1 root root 199M Feb  9 10:22 minzu.txt

-rw-r--r-- 1 root root 189M Feb  9 10:08 name.txt

-rw-r--r-- 1 root root 180M Feb  9 10:49 opq.txt

-rw-r--r-- 1 root root 180M Feb  9 10:41 xyz.txt

-rw-r--r-- 1 root root 208M Feb  9 10:19 zhuzhi.txt

 

大文件，1亿记录

 bash gendata.sh  name1000.txt name

 

-rw-r--r--  1 root root 2.1G Feb  9 10:50 name1000.txt

 

二、测试10个小文件，每个文件1000万记录，180MB大小，总1亿记录，1.8G ，不做任何优化的数据分析

 

hive中建表：

 

create table hyl_test_par(id int,name string) partitioned by(sys_sj string,sys_type string) row format delimited fields terminated by ',' stored as textfile;

 

手动建立分区文件夹：

 

hadoop  fs -mkdir -p /apps/hive/warehouse/hyl_test_par/sys_sj=20170209/sys_type=2003

 

上传数据、修改权限：

 

 hadoop  fs -put *.txt /apps/hive/warehouse/hyl_test_par/sys_sj=20170209/sys_type=2003/

 hadoop  fs -chown -R hive /apps/hive/warehouse/hyl_test_par/

 

修复分区信息：

 

0: jdbc:hive2://cluster09.hzhz.co:10000> show partitions hyl_test_par;

+------------+--+

| partition  |

+------------+--+

+------------+--+

No rows selected (0.125 seconds)

0: jdbc:hive2://cluster09.hzhz.co:10000> msck repair table hyl_test_par;

No rows affected (0.551 seconds)

0: jdbc:hive2://cluster09.hzhz.co:10000> show partitions hyl_test_par;

+--------------------------------+--+

|           partition            |

+--------------------------------+--+

| sys_sj=20170209/sys_type=2003  |

+--------------------------------+--+

1 row selected (0.123 seconds)

 

 

测试：

 

select count(*) from hyl_test_par where name <> ' ' ;

 

第一次运行

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (189.116 seconds)

 

第二次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (118.107 seconds)

 

 

第三次运行：

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (117.551 seconds)

 

第四次运行：

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (117.44 seconds)

 

第五次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (113.291 seconds)

 

======================================莫名的分割线=======================================================

下午重新跑，性能块了10倍以上！！！

第一次运行

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.274 seconds)

 

 

第二次运行

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.525 seconds)

 

 

第三次运行

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.11 seconds)

 

第四次：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.722 seconds)

 

 

三、测试10个小文件，每个文件1000万记录，180MB大小，总1亿记录，1.8G，经过analysis分区信息的表

 

同理，创建测试analysis的表，并导入数据：

 

create table hyl_test_par_ana(id int,name string) partitioned by(sys_sj string,sys_type string) row format delimited fields terminated by ',' stored as textfile;

 

hadoop  fs -mkdir -p /apps/hive/warehouse/hyl_test_par_ana/sys_sj=20170209/sys_type=2003

hadoop  fs -put *.txt /apps/hive/warehouse/hyl_test_par_ana/sys_sj=20170209/sys_type=2003/

hadoop  fs -chown -R hive /apps/hive/warehouse/hyl_test_par_ana/

 

show partitions hyl_test_par_ana;

msck repair table hyl_test_par_ana;

show partitions hyl_test_par_ana;

 

分区信息分析：

0: jdbc:hive2://cluster09.hzhz.co:10000> analyze table hyl_test_par_ana partition(sys_sj=20170209,sys_type=2003) compute statistics ;

INFO  : Session is already open

INFO  : Dag name: analyze table hyl_test_par_ana ...statistics(Stage-0)

INFO  :

 

INFO  : Status: Running (Executing on YARN cluster with App id application_1486351392526_0021)

.

.

.

INFO  : Partition default.hyl_test_par_ana{sys_sj=20170209, sys_type=2003} stats: [numFiles=10, numRows=100000000, totalSize=1927777800, rawDataSize=1827777800]

No rows affected (126.81 seconds)

 

测试：

select count(*) from hyl_test_par_ana;

0: jdbc:hive2://cluster09.hzhz.co:10000> select count(*) from hyl_test_par_ana;

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (0.086 seconds)

 

换sql：

select count(*) from hyl_test_par_ana where name <> ' ';

第一次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (118.239 seconds)

 

第二次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (121.687 seconds)

 

第三次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (121.319 seconds)

 

======================================莫名的分割线=======================================================

下午重新跑，性能块了10倍以上！！！

第一次运行

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (10.923 seconds)

 

第二次运行

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (6.058 seconds)

 

第三次运行

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (6.45 seconds)

 

第四次：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (6.218 seconds)

 

 

三、测试1个大文件，2.0G大小，总1亿记录，没有任何优化的表

创建使用一个大文件的同结构表，并上传数据：

 

 

create table hyl_test_par_big(id int,name string) partitioned by(sys_sj string,sys_type string) row format delimited fields terminated by ',' stored as textfile;

 

hadoop  fs -mkdir -p /apps/hive/warehouse/hyl_test_par_big/sys_sj=20170209/sys_type=2003

hadoop  fs -put name1000.txt /apps/hive/warehouse/hyl_test_par_big/sys_sj=20170209/sys_type=2003/

hadoop  fs -chown -R hive /apps/hive/warehouse/hyl_test_par_big/

 

[hdfs@cluster13 tmp]$ hadoop  fs -du -h /apps/hive/warehouse/hyl_test_par_big/

2.0 G  /apps/hive/warehouse/hyl_test_par_big/sys_sj=20170209

 

show partitions hyl_test_par_big;

msck repair table hyl_test_par_big;

show partitions hyl_test_par_big;

 

测试：

select count(*) from hyl_test_par_big where name <> ' ';

第一次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.356 seconds)

第二次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.3 seconds)

 

第三次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (5.861 seconds)

第四次：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (5.675 seconds)

 

第五次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.814 seconds)

 

======================================莫名的分割线=======================================================

下午测试：

第一次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.933 seconds)

 

第二次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (4.435 seconds)

 

第三次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (5.868 seconds)

 

第四次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.403 seconds)

 

 

第五次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.814 seconds)

 

四、测试10个小文件，180MB大小，总1亿记录，是经过insert into方式建立的表

 

通过insert into 从第一张表中导入数据（这个过程中hive会自动analysis信息）到新表，测试：

 

create table hyl_test_par_auto as select * from hyl_test_par distribute by rand(123);

 

0: jdbc:hive2://cluster09.hzhz.co:10000> create table hyl_test_par_auto as  select * from hyl_test_par distribute by rand(123);

INFO  : Session is already open

INFO  : Dag name: create table hyl_test_par_auto a...rand(123)(Stage-1)

INFO  : Tez session was closed. Reopening...

INFO  : Session re-established.

INFO  :

 

INFO  : Status: Running (Executing on YARN cluster with App id application_1486351392526_0022)

 

INFO  : Map 1: -/-    Reducer 2: 0/10   

INFO  : Map 1: 0/119    Reducer 2: 0/10   

.

.

.

INFO  : Moving data to directory hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto from hdfs://myBigdata/apps/hive/warehouse/.hive-staging_hive_2017-02-09_13-05-59_036_2906983779886430780-1/-ext-10001

INFO  : Table default.hyl_test_par_auto stats: [numFiles=10, numRows=100000000, totalSize=3327777800, rawDataSize=3227777800]

 

[hdfs@cluster13 tmp]$ hadoop  fs -ls -h  hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003

Found 10 items

-rwxrwxrwx   2 hive hdfs    183.9 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000000_0

-rwxrwxrwx   2 hive hdfs    183.7 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000001_0

-rwxrwxrwx   2 hive hdfs    183.6 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000002_0

-rwxrwxrwx   2 hive hdfs    184.6 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000003_0

-rwxrwxrwx   2 hive hdfs    183.7 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000004_0

-rwxrwxrwx   2 hive hdfs    183.3 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000005_0

-rwxrwxrwx   2 hive hdfs    184.2 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000006_0

-rwxrwxrwx   2 hive hdfs    184.0 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000007_0

-rwxrwxrwx   2 hive hdfs    184.2 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000008_0

-rwxrwxrwx   2 hive hdfs    183.4 M 2017-02-09 13:28 hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/000009_0

 

 

测试：

select count(*) from hyl_test_par_auto where name <> ' ';

第一次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (14.653 seconds)

 

第二次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (13.989 seconds)

 

第三次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (9.236 seconds)

 

 

drop table hyl_test_auto;

 

create table hyl_test_par_auto(id int,name string) partitioned by(sys_sj string,sys_type string) row format delimited fields terminated by ',' stored as textfile;

 

insert into table hyl_test_par_auto partition(sys_sj=20170209,sys_type=2003) select id,name from hyl_test_par distribute by rand(123);

0: jdbc:hive2://cluster09.hzhz.co:10000> insert into table hyl_test_par_auto partition(sys_sj=20170209,sys_type=2003) select id,name from hyl_test_par distribute by rand(123);

INFO  : Session is already open

INFO  : Dag name: insert into table hyl_test_par_a...rand(123)(Stage-1)

INFO  :

 

INFO  : Status: Running (Executing on YARN cluster with App id application_1486351392526_0022)

 

INFO  : Map 1: 0/119    Reducer 2: 0/10  

.

.

. 

INFO  : Loading data to table default.hyl_test_par_auto partition (sys_sj=20170209, sys_type=2003) from hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_auto/sys_sj=20170209/sys_type=2003/.hive-staging_hive_2017-02-09_13-26-47_915_3059621581501435386-1/-ext-10000

INFO  : Partition default.hyl_test_par_auto{sys_sj=20170209, sys_type=2003} stats: [numFiles=10, numRows=100000000, totalSize=1927777800, rawDataSize=1827777800]

No rows affected (135.325 seconds)

 

 

测试：

select count(*) from hyl_test_par_auto where name <> ' ';

第一次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.303 seconds)

 

 

第二次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.56 seconds)

 

 

第三次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.446 seconds)

 

第四次：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.643 seconds)

 

0: jdbc:hive2://cluster09.hzhz.co:10000> select count(*) from hyl_test_par_auto ;

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (0.098 seconds)

 

 

======================================莫名的分割线=======================================================

下午测试：

第一次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.282 seconds)

 

第二次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.414 seconds)

 

第三次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (6.452 seconds)

 

第四次运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (6.24 seconds)

 

 

五、统计：

 

耗时\条件10*180MB*NONE10*180MB*analyze1*2GB*none10*180MB*insert into
第一次运行11.27410.92311.93311.282
第二次运行11.5256.0584.4353.414
第三次运行11.116.455.8686.452
第四次运行11.7226.2183.4036.24
平均时间11.407757.412256.409756.847
热数据平均时间（去掉第一次）

             11.45233333

                                    6.242

                 4.568666667

                        5.368666667

 

 

六、继续寻找优化项：

 

单个文件，通过insert into方式插入数据的表：

 

set mapred.reduce.tasks=1;

create table hyl_test_par_big_auto(id int,name string) partitioned by(sys_sj string,sys_type string) row format delimited fields terminated by ',' stored as textfile;

 

insert into table hyl_test_par_big_auto partition(sys_sj=20170209,sys_type=2003) select id,name from hyl_test_par distribute by rand(123);

0: jdbc:hive2://cluster09.hzhz.co:10000> insert into table hyl_test_par_big_auto partition(sys_sj=20170209,sys_type=2003) select id,name from hyl_test_par distribute by rand(123);

INFO  : Tez session hasn't been created yet. Opening session

INFO  : Dag name: insert into table hyl_test_par_b...rand(123)(Stage-1)

INFO  :

 

INFO  : Status: Running (Executing on YARN cluster with App id application_1486351392526_0023)

 

INFO  : Map 1: -/-    Reducer 2: 0/1

INFO  : Map 1: 0/119    Reducer 2: 0/1

.

.

.

INFO  : Loading data to table default.hyl_test_par_big_auto partition (sys_sj=20170209, sys_type=2003) from hdfs://myBigdata/apps/hive/warehouse/hyl_test_par_big_auto/sys_sj=20170209/sys_type=2003/.hive-staging_hive_2017-02-09_14-30-05_480_3967529948260649900-1/-ext-10000

INFO  : Partition default.hyl_test_par_big_auto{sys_sj=20170209, sys_type=2003} stats: [numFiles=1, numRows=100000000, totalSize=1927777800, rawDataSize=1827777800]

No rows affected (104.637 seconds)

 

测试：

select count(*) from hyl_test_par_big_auto where name <> ' ';

运行：

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.744 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (4.188 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (4.041 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (5.198 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.788 seconds)

 

 

耗时\条件10*180MB*NONE10*180MB*analyze1*2GB*none10*180MB*insert into1*2GB*none*insert into
第一次运行11.27410.92311.93311.28211.744
第二次运行11.5256.0584.4353.4144.188
第三次运行11.116.455.8686.4524.041
第四次运行11.7226.2183.4036.245.198
平均时间11.407757.412256.409756.8476.29275
热数据平均时间（去掉第一次）

11.45233333

 6.242

4.56866666

5.368666667

  4.475666667

 

优化，列信息统计分析

 

analyze table hyl_test_par_ana compute statistics for columns;

 

select count(*) from hyl_test_par_ana where name <> ' ';

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.519 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

 

1 row selected (7.688 seconds)

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (6.456 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (5.651 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.413 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.62 seconds)

 

 

 

 

矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理:

 

set hive.vectorized.execution.enabled = true;

set hive.vectorized.execution.reduce.enabled = true;

 

select count(*) from hyl_test_par where name <> ' ';

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.54 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (3.859 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (4.134 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.844 seconds)

 

+------------+--+

|    _c0     |

+------------+--+

| 100000000  |

+------------+--+

1 row selected (11.089 seconds)

转载于:https://my.oschina.net/u/3115904/blog/839486

weixin_33728268
关注
测试hive连接mysql_Dbeaver连接Hive和Mysql的配置
weixin_35714534的博客
01-28 228
1.连接Hive首选需要配置Hive这里我们采用的是JDBC的连接方式(1) 在Hive中后台启动hiveserver2[root@hadoop-101 hive]# bin/hiveserver2 &(2) 启动beeline[bigdata@hadoop-101 hive]$ bin/beelinels: cannot access /opt/module/spark/lib/spar...
用Sparksql本地测试hive
山海
07-16 794
首先配置pom.xml文件： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.0.2</ver...
hive测试数据
04-23
这个是hive测试数据.
Hive部署及简单测试
云来山更佳，云去山如画
05-02 4283
本篇讲述Hive的部署及简单测试
【分布式数据仓库Hive】Hive的安装配置及测试
最新发布
布丁椰奶冻的博客
07-01 720
一、数据库MySQL安装 1. 检查操作系统是否有MySQL安装残留 2. 删除残留的MySQL安装（使用yum） 3. 安装MySQL依赖包、客户端和服务器 4. MySQL登录账户root设置密码，密码值自定义，这里是‘abc1234’ 5. 启动MySQL服务 6. 登录MySQL，进入数据库操作提示符 7. 授权Hive远程登录账户，“账户”和“密码”自定义 8. 创建Hive元数据数据库hive_1（可自命名，符合命名规则即可） 二、Hive安装配置（使用hadoop用户）
hive-测试
ty-boy的博客
12-31 692
hive-测试 hive ##------命令行直接输入，如果没有这个命令，看环境变量是否添加，或者profile是否生效。 hive> show functions; OK ! != $sum0 % & * + - / < <= <=> <> = == > >= ^ abs acos add_months aes_decrypt...
hive的测试
weixin_30575309的博客
10-19 133
比如两个文件导入的分割符号为, 导入hive的文件 1365,fei,bai 1377,bai,360 1300,fei,360 1388,fei,360 13899,,fei 13899,fei,368 那么导入到hive里的数据 create table test3(a string,b string,c string) row format delimited fiel...
Hive练习
cjwfinal的博客
09-05 291
一、创建表 1.创建students表 创建表 create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string comment '学生班级' ) comment '学生信息表' row format delimited fields termina
TPCDS测试-99条Hive基准测试流程
03-25
本篇文章将详细介绍如何进行TPCDS在Hive上的基准测试流程，以及相关的技术要点。 **一、TPCDS简介** TPCDS是一个决策支持系统的标准测试套件，包含了99个复杂的SQL查询，涵盖了多种业务场景，如数据挖掘、报表生成...
Hive面试题SQL测试题目1数据
08-31
文章Hive面试题SQL测试题目所需数据，包含建表语句 测试数据等等...................
测试hive能正常使用
07-13
关于测试 Hive 是否正常使用，你可以尝试以下步骤： 1. 首先，确保你已经安装了 Hive，并且配置了正确的环境变量。 2. 打开终端或命令行界面，输入 "hive" 命令来启动 Hive CLI（命令行界面）。 3. 如果 Hive ...
hadoop大数据平台性能测试方案.doc
05-23
本文档为xxx大数据平台测试方案模板，包含测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。
hive测试技巧
hezhihua@zju.edu.cn
03-12 269
1.仅采用分区进行测试，加快测试速度，单个分区测试通过，再放开全量 select a.value1, a.value2 from a where dt=$dt hour=$hout >> hour=$hour将分区限制到最小 2.多表join时，当关心其中两个表join结果时，可以把其他表删掉，数据插入空数据替代 >> 本条过于简单 >> 但却十分实用 3.大表采样后落一个新的小表，用小表测试 select * from ( select t.* from
Hive基准测试神器-hive-testbench
Dreamershi的专栏
08-10 3772
TPC-DS测试概述 在对Hive的语法及性能进行测试时，需要构造大量数据，TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统测试基准。在使用TPC-DS时需要进行编译，生成数据以及查询SQL还要把Hive建表语句进行修改手动创建，数据也需要再上传hdfs，操作比较麻烦，数据生成性能也较差。hive-testbench是Hortonwork基于TPC-H和TPC-DS封装的专门用于Hive的基准测试工具，自动生成HDFS数据，并进行建表操作，使用非常方便。 TPC-H和TPC-
Hive基础测试操作
SHZHJ2000的博客
04-10 252
一、Hive测试 　　1.查看数据库 　　show databases; 　　2.使用某个数据库，如默认数据库 　　user default; 　　3.创建表 　　create table if not exist itstar(id int,name string); 　　4.插入数据 　　insert into table itstar values(1,"wyh")...
Hive 1.2.1 安装测试
易者悠也
12-23 1696
1 安装MySQL安装服务器：sudo apt-get install mysql-server(注意：期间需要设置root用户的密码哟) 安装客户端:sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev检查系统中是否有MySQL服务，出现下面的大概就是成功了sudo netstat -tap|g
Hive 的基准测试和性能测试
互联网知识分享
08-06 520
基准测试是一种用于评估系统性能的测试方法，可以帮助我们发现系统的瓶颈和性能问题，并优化系统的配置和设计。性能测试是一种用于评估系统性能的测试方法，可以帮助我们评估系统的扩展性和可靠性，提升系统的性能和稳定性。性能测试对于评估系统的性能和稳定性非常重要，它可以帮助我们发现系统的性能瓶颈和潜在问题，并优化系统的配置和设计。基准测试对于评估系统的性能和稳定性非常重要，它可以帮助我们发现系统的瓶颈和性能问题，并优化系统的配置和设计。分析和优化：根据收集到的性能数据，分析系统的性能问题，并优化系统的配置和设计。
大数据组件Hive性能测试和性能优化
世界很大我很小
04-01 4234
项目介绍 这是我在华为做的最后一个项目，当时在华为海思部门。部门主要是给一些国产芯片做服务器的软件性能测试，包括大数据生态软件Hadoop、Hbase、Hive等。 测试方法 使用业界sql性能测试工具tpc-ds，选择个别SQL做性能分析优化。 TPC-DS是与真实场景非常接近的一个测试集，它包含7张事实表，17张纬度表，平均每张表含有18列。用这个数据集能够很好的模拟企业数据查询、报表生成以及数据挖掘等复杂应用。 下面是测试的数据集部分表的关系图： 测试用例举例： -- 1.符合
Hive 安装及测试一
任何技能都是从模仿开始，逐步升华。
10-16 1119
前几节演示了hadoop以及hbase的集群安装和简单实例，下面我们说一下hadoop的成员hive数据仓库的安装配置，及使用实例。hive是以及hadoop之上的，所以我们需要在hadoop的环境下，安装配置hive。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值