oracle查询一天内的数据_基于特定数据集的Oracle、ClickHouse、ES测试报告

最新推荐文章于 2024-04-06 22:20:19 发布

weixin_39836943

最新推荐文章于 2024-04-06 22:20:19 发布

阅读量257

点赞数

文章标签： oracle查询一天内的数据

基于特定数据Oracle、ClickHouse、ES存储比较

笔者在工作中遇到一种情况，有一批数据需要和其他表进行各种复杂计算、并表操作，输出统计值。一般情况，类似场景都会使用Oracle视图进行处理。但本次场景发现做关联和计算后，使用视图查询效率非常低，甚至达到了无法忍受的地步(有时1min以上)。于此同时，现在OLAP数据库比较火，所以就特定场景从效率和存储上选取Oracle、ClickHouse、ElasticSearch做了一次简单的对比。

测试集说明与准备

由于本身业务场景是一个并表操作，使用的测试数据集有一个特点，即首先有近30列，其次每行数据基本上只有个别字段有差异，多数列重复度比较高。数据集是1000条原始数据，通过视图构建初350w条数据。

数据样例(类似只有个别几列数据不相同)

1	aaa	......	1	1.5
2	aaa	......	1	3
3	aaa	......	1	2
4	bbb	......	1	30
5	bbb	......	1	12

测试主机配置

均是虚拟机 4c 8g 500G

测试步骤

一、Oracle 测试

1、数据准备

从vw_test_list视图中导入数据到实体表test_detail中。

Insert into test_detail select * from vw_test_list t ;

2、查看存储大小

select * from

(select t.segment_name, t.segment_type, sum(t.bytes / 1024 / 1024) "占用空间(M)"

from dba_segments t

where t.segment_type='TABLE'

group by OWNER, t.segment_name, t.segment_type) t

where t.segment_name='test_detail'

3、测试查询速度

select * from test_detail t where t.test_title like '%测试数据集AAA%'

二、ClickHouse测试

1、构建数据表

注意点：

1、clickhouse客户端对回车敏感，所以如果在文本中编辑完成后，需要替换掉’\n’

2、Clickhouse使用mergetree引擎时需要指定一个date类型的字段定义主键。

2、数据加载

从oracle中导出数据，使用click-client进行数据导入

cat data.csv | clickhouse-client --format_csv_delimiter="|" --query="INSERT INTO test_detail FORMAT CSV";

3、查看占用空间

select table as "表名",sum(rows) as "总行数",formatReadableSize(sum(data_uncompressed_bytes)) as "原始大小",formatReadableSize(sum(data_compressed_bytes)) as "压缩大小",round(sum(data_compressed_bytes) / sum(data_uncompressed_bytes) * 100, 0) "压缩率" from system.parts where table in('test_detail') group by table;

4、测试查询效率

SQL与Oracle一致