摘要
腾讯 CTSDB(Cloud Time Series Database) 是一种分布式、高性能的时序数据库,针对时序数据的高并发写入、存在明显的冷热数据、IoT 用户场景等做了大量优化,同时也支持各行业的日志解析和存储。
一、背景
随着移动互联网、物联网、大数据等行业的高速发展,数据在持续的以指数级的速度增长,比如我们使用手机访问互网络时的行为数据,各种可穿戴设备上报的状态数据,工厂中设备传感器采集的指标数据,传统互联网公司的监控数据等。实际上,这些按照时间顺序记录系统、设备状态变化的数据都是时序数据 (Time Series),它普遍存在于互联网、物联网、IT 基础设施中。
得益于软硬件技术的快速发展,处理如此庞大的时序数据集的成本在持续降低,更多公司开始持续收集、分析数据,用于异常处理、趋势预测、精准营销、风险控制等场景,希望利用数据的潜在价值,提高公司盈利能力和竞争力。这里举两个例子:
1. 下图为某共享单车在旧金山某热门区域的车辆借还情况。通过分析该区域车辆的历史借还数据,单车公司可优化热点时间段的车辆补给。
2. 下图为某互联网服务的出入流量历史记录。从图中可以明显看到入流量 (蓝色线) 在某时间段有毛刺,服务提供商可基于此段时间排查服务有无异常。可以进一步基于流量监控做告警,使运维人员能够及时处理线上问题。
二、传统时序数据解决方案存在大量问题
传统的时序数据解决方案及问题如下: