把Elasticsearch作为时间序列数据库使用

最新推荐文章于 2024-08-13 07:14:26 发布

笑天居士

最新推荐文章于 2024-08-13 07:14:26 发布

阅读量8.3k

点赞数

分类专栏： Elasticsearch 文章标签： elasticsearch

本文链接：https://blog.csdn.net/jiao_fuyou/article/details/49663687

版权

本文介绍了如何将Elasticsearch用作时间序列数据库，通过关闭_source和_all，节省存储空间，利用doc_values进行高效的数据存储和聚合操作。在不存储原始字段和索引的情况下，依然能进行数据查询和聚合分析。

摘要由CSDN通过智能技术生成

这篇文章算是对另一篇《Elasticsearch as a Time Series Data Store》的简单翻译吧，自己的理解吧。

首先_source被关闭了，这样原始的json文档不会被重复存储一遍。
其次_all也被关闭了。而且每个字段的store都是False，也就是不会单独被存储。
这些都关掉了，那么数据存哪里了？存在doc_values里。doc_values用于在做聚合运算的时候，根据一批文档id快速找到对应的列的值。doc_values在磁盘上一个按列压缩存储的文件，非常高效。

curl -XPOST http://172.16.18.116:9200/test -d '
{
    "settings": {
        "number_of_shards": 1,
        "number_of_replicas": 0,
        "index.query.default_field": "timestamp",
        "index.mapping.ignore_malformed": false,
        "index.mapping.coerce": false,
        "index.query.parse.allow_unmapped_fields": false
    },
    "mappings": {
        "test": {
            "_source": {"enabled": false},
            "_all": {"enabled": false},
            "properties": {
                "timestamp": {
                    "type": "date",
                    "index": "no",
                    "store": false,
                    "dynamic": "strict",
                    "doc_values": true,
                    "fielddata": { "format