![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
influxdb
文章平均质量分 88
哈哈哈张大侠
不积跬步无以至千里
展开
-
InfluxDB(七):数据写入
这样每构建一个Series Data Block并写入文件后都会在内存中顺序构建(注意是顺序,代表这里的B+树是顺序写,这样的再平衡就会快很多,并且也可以利用到B+树查询的快速)一个Index Entry,写入内存Series Index Block对象,一旦一个Key对应的所有时序数据都持久化完成,一个Series Index Block就构建完成(因为一个Series Index Block只会存储一个SeriesKey的数据),构建完成之后填充Index Block Meta信息。原创 2023-04-07 23:24:31 · 1856 阅读 · 0 评论 -
InfluxDB(六):多维查询之倒排索引
这种查询就首先需要使用倒排索引根据measurement以及部分维度组合(广告商=网易考拉,广告平台=网易云音乐)找到所有对应的广告源,假如网易考拉在网易云音乐上发布了100个广告,就需要查找到这100个广告点击量对应的SeriesKey,再分别针对所有SeriesKey在最近一天这个时间范围查找点击量数据,最后做sum聚合。实际实现中,point的写入会抽出measurment、Tags拼成SeriesKey,在系统中查看该SeriesKey是否存在,存在则忽略,不存在会写入内存的相应结构。原创 2023-04-07 23:26:20 · 709 阅读 · 0 评论 -
InfluxDB(五):TSM存储引擎之TSMFile
所以这里也需要知道为什么InfluxDB或者HBase都不适合存储轩辕的埋点数据了,因为轩辕你的埋点数据每个point中的每个field都是具有相关性的列,就是说我查了A字段,那么我就必须要查出A字段想关联的point的B字段,但是point在时序数据库中可能分布于不同的SeriesKey,也就是可能会落到不同的TSM文件上,所以不适合,那为什么ES适合呢?时序数据的时间值以及指标值在Block内部是按照列式存储的:所有时间值存储在一起,所有指标值存储在一起,可以提高系统的压缩效率,如上图的Values。原创 2023-04-07 23:24:50 · 662 阅读 · 0 评论 -
InfluxDB(四):LSM
将日志分解为一定大小的段(文件),为每个文件设定一个固定大小的阈值,超过后则关闭当前文件,写入新的文件,仍然是追加写,不过后台会开启一个线程,定时对文件进行合并(AOF重写),每个key上只保留最新的value,如果最新的key,value 上发现了墓碑标记, 则删除该标记。SSTable 全称叫做排序字符串表,对于上面的解决方案还有个问题,就是文件中每个段的key我们如果都存储在内存中的话,虽然每个段可以进行压缩,但是占用空间还是太大了。解决方案: 我们可以简单的改变文件的格式,原创 2023-04-06 23:54:10 · 247 阅读 · 0 评论 -
InfluxDB(三):InfluxDB数据模型
写入的过程类似LSM,数据线写入Cache,等cache达到一定大小,就异步flush到TSM文件(MySQL的插入缓冲也采取了类似测了,主要是通过顺序IO比随机IO更快)。WAL(原创 2023-04-06 23:55:29 · 1002 阅读 · 0 评论 -
InfluxDB(二):时序数据的存储模型
关于作者,目前在蚂蚁金服搬砖任职,在支付宝营销投放领域工作了多年,目前在专注于内存数据库相关的应用学习,如果你有任何技术交流或大厂内推及面试咨询,都可以从我的个人博客(总结:一个时序数据点(point)由datasource(tags)+metric+timestamp这三部分唯一确定。由上图可以看出,时序数据由两个维度坐标来表示。原创 2023-04-06 23:54:18 · 216 阅读 · 0 评论 -
InfluxDB(一):influxdb基本概念
timestamp:time存着时间戳,这个时间戳以RFC3339格式展示了与特定数据相关联的UTC日期和时间。field set:每组field key和field value的集合,如butterflies = 3, honeybees = 28field key/value:在InfluxDB中不能没有field,field没有索引。tag set:不同的每组tag key和tag value的集合,如location = 1, scientist = langstroth。原创 2023-04-06 23:53:27 · 2495 阅读 · 0 评论