QQ:40633
概述测试环境测试内容测试结果
概述
随着商业智能与大数据应用的发展,数据的价值越来越受到重视。针
对大数据量的分析与统计,存在各种解决方案,包括:传统数据库, mysql,NOSQL,开源内存数据库,HADOOP,以及专业BI解决方 案等。
上述各类方案各有自身的优势,同时也存在着一些不足,如性能瓶
颈,使用和维护成本,对复杂多维数据的分析能力不足等。
可用性,实时性,可靠性,低成本是用户能开展有效的数据分析的基础条件。
本文基于果业生产销售的真实数据结构,对LightDB的单机海量数据
多维统计进行了测试,以供读者参考。
概述测试环境测试内容测试结果
测试环境
LightDB服务器配置
模块 | 配置 |
CPU | Intel(R)Xeon(R)CPUE5-26200@2.00GHz 数量:2 核数:2*6=12 线程数:2*12=24 |
内存 | 64GB |
硬盘 | 2TB |
概述测试环境测试内容测试结果
字段 | 描述 | 统计纬度 |
省 | 种植户所在省 | 是 |
市 | 种植户所在市 | 是 |
县 | 种植户所在县 | 是 |
镇 | 种植户所在镇 | 是 |
村 | 种植户所在村 | 是 |
户 | 种植户姓名 | 是 |
大类 | 果品种类 | 是 |
子类 | 果品子类 | 是 |
字段 | 描述 | 统计纬度 |
质量 | 质量品级 | 是 |
认证 | 产品认证 | 是 |
客户 | 客户类别 | 是 |
估产日期 | 集中在每年3-5月 | 是 |
出产日期 | 集中在每天10月 | 是 |
填报日期 |
| 是 |
字段 | 描述 | 统计纬度 |
估产 | 质量品级 |
|
实产 | 产品认证 |
|
产值 | 客户类别 |
|
销量 | 集中在每年3-5月 |
|
价格 | 集中在每天10月 |
|
成熟期 |
|
|
备注 |
|
|
统计要求
统计维度要求:六级地域,两级分类,质量品级,产品认证,客户类别,估产日期,生产日期,填报日期共8个大维度,14个小维度。
计算要求:对估产数量,实际产出数量,产值,以及销售量进行汇总。
统计条件:任意设定多个维度
统计方式:总计,一维统计(任意设定),二维统计(任意设定)
总数据量
一亿三千七百六十万条记录 – 137,600,000
概述测试环境测试内容测试结果
数据样本举例
原始数据文件
全国数据汇总统计
全国数据一维统计 – 按省统计
全国数据二维统计 – 按省和质量统计
省级汇总统计 – 河北省
省级一维统计 – 按市统计
省级二维统计 – 按市和产品认证统计
市级汇总统计 – 河北省石家庄市
市级一维统计 – 按县统计
市级二维统计 – 按县和客户类别统计
县级汇总统计
县级一维统计 – 按镇统计
县级二维统计 – 按镇和类别统计
更多统计条件 – 省,市,县,镇,质量,客户类别 –按产品认证统计
测试汇总
测试内容 | 耗时(单位:毫秒) |
| 测试内容 | 耗时(单位:毫秒) |
全国汇总 | 798 | 市级二维 | 7 | |
全国一维 | 842 | 县级汇总 | 1 | |
全国二维 | 885 | 县级一维 | 1 | |
省级汇总 | 33 | 县级二维 | 2 | |
省级一维 | 36 | 更多统计条件 | <1 | |
省级二维 | 36 | 记录总数 | 一亿三千七百六十万条 | |
市级汇总 | 8 | 原始数据文件 | 20G | |
市级一维 | 8 | 统计维度 | 8维(+级别=14) |
谢谢!