ES8生产实践——ES索引策略配置与写入优化

已于 2023-08-17 23:09:29 修改
阅读量1.7k 收藏 3
点赞数
分类专栏： ELK Stack 文章标签： elasticsearch
于 2023-08-17 23:02:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33816243/article/details/132352521
版权

在前面的实验案例中，我们已经顺利的完成了自定义日志的采集与过滤清洗操作，并将日志内容存储到ES集群。但只是把数据存储到ES集群还远不够，应该根据实际情况合理配置索引策略和参数，这样才能保障ES集群长期稳定运行。

采集管道

虽然在先前的案例中已经使用Logstash对原始数据进行了清洗处理，但是实际存入ES中发现部分字段仍存在问题。我们除了重新调试Logstash的filter过滤规则外，还可以通过es的ingest pipeline，交由es的ingest节点在存入es前做最后的处理工作。
更多ingest相关的内容，可参考文章：https://www.cuiliangblog.cn/detail/section/76304999

查看es存储数据字段

除了使用discover查看文档json信息外，我们也可以通过dev tools工具查看
image.png
请求与响应数据如下：

# 请求
GET logs-myapp-default/_search
{
  "query": {
    "match_all": {}
  },
  "size": 1
}
# 响应
{
  "took": 1006,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1192,
      "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": ".ds-logs-myapp-default-2023.07.22-000001",
        "_id": "RO_9fYkBtZL2AjqWPIKF",
        "_score": 1,
        "_source": {
          "log_timestamp": "2023-07-22 22:24:54.195",
          "http_user_agent": "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36",
          "geoip": {
            "latitude": 51.2993,
            "longitude": 9.491,
            "country_code2": "DE",
            "timezone": "Europe/Berlin",
            "ip": "185.35.187.28",
            "location": {
              "lon": 9.491,
              "lat": 51.2993
            },
            "continent_code": "EU",
            "country_name": "Germany",
            "country_code3": "DE"
          },
          "input": {
            "type": "log"
          },
          "host": {
            "name": "es-master"
          },
          "event": {
            "original": """{"@timestamp":"2023-07-22T14:24:54.300Z","@metadata":{"beat":"filebeat","type":"_doc","version":"8.8.2"},"ecs":{"version":"8.0.0"},"host":{"name":"es-master"},"log":{"offset":3347648,"file":{"path":"/var/log/log_demo/info.log"}},"message":"2023-07-22 22:24:54.195 | WARNING  | __main__:debug_log:47 - {'access_status': 404, 'request_method': 'POST', 'request_uri': '/account/', 'request_length': 10, 'remote_address': '185.35.187.28', 'server_name': 'cm-13.cn', 'time_start': '2023-07-22T22:24:53.535+08:00', 'time_finish': '2023-07-22T22:24:54.973+08:00', 'http_user_agent': 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36'}","input":{"type":"log"},"agent":{"ephemeral_id":"0c5f1eda-64b7-4e27-8519-282b64d8883d","id":"d51f4cc1-288b-473e-b4d4-f2e347c849e3","name":"es-master","type":"filebeat","version":"8.8.2"}}"""
          },
          "agent": {
            "id": "d51f4cc1-288b-473e-b4d4-f2e347c849e3",
            "name": "es-master",
            "type": "filebeat",
            "ephemeral_id": "0c5f1eda-64b7-4e27-8519-282b64d8883d",
            "version": "8.8.2"
          },
          "request_length": 10,
          "server_name": "cm-13.cn",
          "@timestamp": "2023-07-22T14:24:54.195Z",
          "message": "2023-07-22 22:24:54.195 | WARNING  | __main__:debug_log:47 - {'access_status': 404, 'request_method': 'POST', 'request_uri': '/account/', 'request_length': 10, 'remote_address': '185.35.187.28', 'server_name': 'cm-13.cn', 'time_start': '2023-07-22T22:24:53.535+08:00', 'time_finish': '2023-07-22T22:24:54.973+08:00', 'http_user_agent': 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36'}",
          "ecs": {
            "version": "8.0.0"
          },
          "class": "__main__:debug_log:47",
          "log": {
            "offset": 3347648,
            "file": {
              "path": "/var/log/log_demo/info.log"
            }
          },
          "level": "warning",
          "request_method": "POST",
          "time_start": "2023-07-22T22:24:53.535+08:00",
          "@version": "1",
          "time_finish": "2023-07-22T22:24:54.973+08:00",
          "request_uri": "/account/",
          "remote_address": "185.35.187.28",
          "access_status": 404,
          "data_stream": {
            "type": "logs",
            "dataset": "myapp",
            "namespace": "default"
          }
        }
      }
    ]
  }
}

场景需求

通过观察原始数据后，我们发现event、agent、log字段存储的数据信息不是我们所关注的，需要在存入es之前，把这三个字段删除，接下来我们实现这个需求。

创建pipeline

我们创建一个名为myapp-pipeline的管道处理器，并添加规则为移除event、agent、log字段
image.png
然后我们通过查询语句，获取一条样例数据，记住index和id后续使用。

# 获取数据样例
GET logs-myapp-default/_search
{
  "query": {
    "match_all": {}
  },
  "size": 1
}

接下来我们打开采集管道页面，将刚刚查询结果中的文档index和id内容粘贴到输入框内作为样例数据，然后运行测试。
image.png
查看页面运行结果，发现已成功去除对应的字段
image.png
接下来点击创建并保存管道即可。
image.png

索引模板设置

创建完采集管道后，接下来我们要使用这个管道，我们可以通过配置索引模板的方式，指定pipeline，后续创建的index都会安装我们设置的模板自动创建并指定pipeline，更多索引模板配置请参考文章：https://www.cuiliangblog.cn/detail/section/75856129

场景需求

我们查看写入的索引信息可以发现，es默认为这个索引设置了1个分片和1个副本，但我们有3个hot节点，我们期望索引可以有3个分片平均分配到hot节点，分摊节点压力，提高查询和写入速度。
image.png

分片数配置建议：在实际生产实践中，建议索引分片数为hot节点数的1-3倍，且每个分片大小在20-50G为宜。对于数据量较大的索引，可以通过ilm滚动策略配置达到指定大小滚动到新的索引，对于数据量较小的索引，可以改为按月创建。

查看索引模板

我们点击索引管理，查看数据流详细信息，就可以看到当前索引配置是由名为logs的模板管理。通常情况下都会根据实际需求单独为每个索引创建新的索引模板。
image.png

创建索引模板

我们找到默认的logs索引模板，查看模板的优先级
image.png
接下来创建一个新的索引模板，模板的名称为myapp，索引模式为数据流的名称，并将优先级设置为110，否则会由于优先级低于logs模板而不生效。
image.png
在组件模板中我们不选择继承任何模板，完全自定义创建配置。
image.png
索引设置(setting)
我们在索引设置中指定索引的分片数、副本数、以及刷新间隔还有默认的pipeline。

索引设置优化建议：
对于实时性要求不高的索引，我们应该尽可能的调大refresh间隔。以减少写入资源的占用，提升写入吞吐能力。
同时我们可以通过total_shards_per_node参数让分片分散到各个数据节点，避免索引分片集中到部分节点导致数据倾斜。
还可以通过translong落盘异步化，提升写入性能。
设置merge并发控制参数。而一个shard其实就是一个Lucene的index，它又由多个segment组成，且Lucene会不断地把一些小的segment合并成一个大的segment，这个过程被称为merge。我们可以通过调整并发度来减少这一步占用的资源操作。

更多集群写入性能优化建议可参考文章：https://www.cuiliangblog.cn/detail/section/110234776
更多索引设置可参考文章：https://www.cuiliangblog.cn/detail/section/68668951
分片数设置可参考文章：https://www.cuiliangblog.cn/detail/section/92745686
image.png

{
  "number_of_shards": 3,
  "number_of_replicas": 1,
  "refresh_interval": "10s",
  "default_pipeline": "myapp-pipeline"
}

映射(mapping)
在mapping配置中，由于我们还需要对索引字段进行调整，我们先选择动态模板，待一切调整完成后，在使用固定字段mapping。更多mapping相关文章请参考https://www.cuiliangblog.cn/detail/section/68422449
image.png
别名设置，此处也设置为空，更多alias设置请参考https://www.cuiliangblog.cn/detail/section/68668990
image.png
至此，索引模板创建完成
image.png

创建数据流验证

我们删除原本的数据流后，会自动按索引模板设置创建新的数据流。
image.png
查看数据流信息，已关联名为myapp-template的索引模板
image.png
查看索引设置信息，已按模板设置创建了索引，将分片数调整为3个。
image.png

运行时

场景需求

查看es数据，我们发现有time_finish和time_start字段，此时如果想计算两个时间的差值，作为新的字段request_time存入es中，我们可以有以下方式实现：

  1. 在查询数据时使用自定义脚本计算时间差
  2. 使用Logstash插件在写入es前计算时间差
  3. 使用es ingest处理，计算时间差写入es中
  4. 使用runtime运行时，自动计算时间差

从简洁程度来说，首选方案4，如果从性能角度，首选方案2。本实例以方案4为例，演示runtime的使用。更多runtime信息请参考文档：https://www.cuiliangblog.cn/detail/section/84342649

调试runtime

我们在script中将time_finish与time_start转换为时间戳，两者相减即是请求时间的值

# 请求
GET logs-myapp-default/_search
{
  "runtime_mappings": {
    "request_time": {
      "type": "long",
      "script": {
        "source": "emit(doc['time_finish'].getValue().toInstant().toEpochMilli() - doc['time_start'].getValue().toInstant().toEpochMilli())"
      }
    }
  },
  "fields": [
    "*"
  ],
  "size": 1
}
# 响应
{
  "took": 11,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1707,
      "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": ".ds-logs-myapp-default-2023.07.22-000001",
        "_id": "ofA8fokBtZL2AjqW09gS",
        "_score": 1,
        "_ignored": [
          "message.keyword"
        ],
        "_source": {
          "server_name": "cu-34.cn",
          "geoip": {
            "timezone": "Africa/Johannesburg",
            "latitude": -29,
            "ip": "160.124.16.65",
            "country_code2": "ZA",
            "country_name": "South Africa",
            "continent_code": "AF",
            "country_code3": "ZA",
            "location": {
              "lon": 24,
              "lat": -29
            },
            "longitude": 24
          },
          "level": "info",
          "time_start": "2023-07-22T23:34:19.778+08:00",
          "access_status": 200,
          "request_method": "PUT",
          "remote_address": "160.124.16.65",
          "message": "2023-07-22 23:34:20.727 | INFO     | __main__:debug_log:49 - {'access_status': 200, 'request_method': 'PUT', 'request_uri': '/login/', 'request_length': 87, 'remote_address': '160.124.16.65', 'server_name': 'cu-34.cn', 'time_start': '2023-07-22T23:34:19.778+08:00', 'time_finish': '2023-07-22T23:34:21.020+08:00', 'http_user_agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2'}",
          "request_uri": "/login/",
          "http_user_agent": "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2",
          "input": {
            "type": "log"
          },
          "@timestamp": "2023-07-22T15:34:20.727Z",
          "ecs": {
            "version": "8.0.0"
          },
          "request_length": 87,
          "time_finish": "2023-07-22T23:34:21.020+08:00",
          "data_stream": {
            "namespace": "default",
            "type": "logs",
            "dataset": "myapp"
          },
          "host": {
            "name": "es-master"
          },
          "@version": "1",
          "class": "__main__:debug_log:49",
          "log_timestamp": "2023-07-22 23:34:20.727"
        }
        ]
    }
}

修改索引模板

调试无误后，接下来我们修改索引模板的mapping配置，添加运行时字段。
image.png

创建数据流验证

我们还是删除先前的数据流，让es为我们自动创建新的数据流，查看数据流信息验证
image.png
查看discover可知，已经成功添加了名为request_time的字段。

mapping调整

场景需求

查看es文档数据，我们可以发现动态mapping存在一些问题，例如log_log_timestamp我们期望是date类型，remote_address我们期望是ip类型，request_method、level、request_uri等字段我们期望不做分词处理，以keyword类型保存，这时就需要修改索引模板固定映射。

mapping性能优化建议：
不要对字符串使用默认的dynmic mapping。会自动分词产生不必要的开销。
减少不必要的分词，从而降低cpu和磁盘的开销。
index_options控制在创建倒排索引时，哪些内容会被条件到倒排索引中，只添加有用的，这样能很大减少cpu的开销。
关闭_source，减少io操作。但是source字段用来存储文档的原始信息，如果我们以后可能reindex，那就必须要有这个字段。
只需要聚合不需要搜索的字段，index设置成false不需要算分，可以将norms设置成false

image.png

查看索引mapping

逐个添加并设置自动类型工作量未免过大，在工作中通常都是先使用动态mapping，然后根据自动生成的mapping信息如果有问题再做调整。

# 请求数据流mapping
GET logs-myapp-default/_mapping
# 响应
{
  ".ds-logs-myapp-default-2023.07.22-000001": {
    "mappings": {
      "_data_stream_timestamp": {
        "enabled": true
      },
      "dynamic_templates": [],
      "runtime": {
        "request_time": {
          "type": "long",
          "script": {
            "source": "emit(doc['time_finish'].getValue().toInstant().toEpochMilli() - doc['time_start'].getValue().toInstant().toEpochMilli())",
            "lang": "painless"
          }
        }
      },
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "@version": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "access_status": {
          "type": "long"
        },
        "class": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "data_stream": {
          "properties": {
            "dataset": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "namespace": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "ecs": {
          "properties": {
            "version": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "geoip": {
          "properties": {
            "city_name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "continent_code": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "country_code2": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "country_code3": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "country_name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "dma_code": {
              "type": "long"
            },
            "ip": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "latitude": {
              "type": "float"
            },
            "location": {
              "properties": {
                "lat": {
                  "type": "float"
                },
                "lon": {
                  "type": "float"
                }
              }
            },
            "longitude": {
              "type": "float"
            },
            "postal_code": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "region_code": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "region_name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "timezone": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "host": {
          "properties": {
            "name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "http_user_agent": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "input": {
          "properties": {
            "type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "level": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "log_timestamp": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "message": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "remote_address": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "request_length": {
          "type": "long"
        },
        "request_method": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "request_uri": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "server_name": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "tags": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "time_finish": {
          "type": "date"
        },
        "time_start": {
          "type": "date"
        }
      }
    }
  }
}

修改模板mapping

复制刚刚获取的索引mapping信息中的mappings内容，然后打开索引模板，粘贴进json数据框中
image.png
kibana会自动解析mapping相关设定，然后我们再根据需要修改部分字段类型
例如将log_timestamp字段设置为日期类型，并指定日期格式，其他字段格式按实际需求做调整即可。
image.png
例如我们使用了geoip插件获取了用户访问IP的经纬度数据，我们需要指定类型为geo_point
image.png

创建数据流验证

我们还是删除先前的数据流，让es为我们自动创建新的数据流，查看数据流信息验证，可以看到新创建的数据流字段已经按我们的期望设置了数据类型。
image.png

ILM

随着时间的推移，索引的数据量会越来越大，我们需要在索引不同的阶段，使用不同的策略配置索引，此时就需要使用ILM索引生命周期管理配置，具体可参考文章：https://www.cuiliangblog.cn/detail/section/83540149

场景需求

回到刚开始集群角色规划时我们假设的场景，通常情况下需要经常查询最近7天数据，历史数据最大查询时间为30天，日志数据归档存储最多为60天。

各生命周期 Actions 设定

  1. Hot 阶段
  • 滚动更新：索引已存在1天或者分片大小达到30GB
  • 设置优先级为：100（值越大，优先级越高）。
  1. Warm 阶段
  • 段合并：max_num_segments 设置为1。
  • 收缩分片数：将主分片合并为1个分片。
  • 只读索引：将索引标记为只读，禁止写入和更改。
  • 副本分片：副本设置为 1。
  • 数据迁移：7-30天数据迁移到warm 节点。
  • 优先级设置为：50。
  1. Cold 阶段
  • 副本分片：副本设置为 0。
  • 降采样：将存储粒度改为1分钟
  • 数据迁移：30-60天数据迁移到冷节点
  1. Delete 阶段
  • 60天以上数据删除索引
  • 快照备份：可以设置删除前将索引快照备份至存储库中

创建索引生命周期策略

在kibana中点击索引生命周期策略，创建名为myapp-policy的策略
为了便于演示，我们将时间缩短，0-7分钟的数据存放hot节点，7-15分钟数据存放warm节点，15-30分钟数据存放clod节点，超过30分钟以上数据删除。
接下来我们创建一个名为myapp-policy的策略。
image.png
hot阶段配置如下：
image.png
warm阶段配置如下：
image.png
cold阶段配置如下：
image.png
删除阶段配置如下：
image.png

ILM与索引模板关联

创建完ILM策略后，接下来，我们将ILM策略与索引模板关联，这样后续创建的索引都会通过ILM进行管理。
image.png

验证

先减小policy策略检查间隔，默认是10分钟，我们改为1秒便于观察。

PUT _cluster/settings
{
  "persistent": {
    "indices.lifecycle.poll_interval": "1s"
  }
}

查看索引信息，发现已自动关联myapp-policy的策略，并处于hot阶段。
image.png
hot阶段验证
0-7分钟的数据存放hot节点，且每分钟滚动生成一个索引
image.png
warm阶段验证
7-15分钟数据存放warm节点，合并为1分片，只读索引
image.png
image.png
clod验证
15-30分钟数据存放clod节点，调整为0副本，数据降采样
image.png
image.png
删除验证
超过30分钟以上数据删除。discover只能查到最近30分钟的数据
image.png

数据流

数据流简介

数据流是es7.9新推出的功能，它是索引、模板、rollover、ilm 基于时序性数据的综合产物。在es8中，凡是日志（logs）、事件（events）、指标（metrics）和其他持续生成的数据，都强烈推荐创建数据流类型的索引。更多数据流的详细信息可参考文章：https://www.cuiliangblog.cn/detail/section/84285233

数据流模板配置

经过配置后，最终的数据流模板如下：

# 请求
GET _index_template/myapp-template
# 响应
{
  "index_templates": [
    {
      "name": "myapp-template",
      "index_template": {
        "index_patterns": [
          "logs-myapp-default"
        ],
        "template": {
          "settings": {
            "index": {
              "lifecycle": {
                "name": "myapp-policy"
              },
              "routing": {
                "allocation": {
                  "include": {
                    "_tier_preference": "data_hot"
                  }
                }
              },
              "default_pipeline": "myapp-pipeline",
              "refresh_interval": "1s",
              "number_of_shards": "1",
              "number_of_replicas": "0"
            }
          },
          "mappings": {
            "runtime": {
              "request_time": {
                "type": "long",
                "script": {
                  "source": "emit(doc['time_finish'].getValue().toInstant().toEpochMilli() - doc['time_start'].getValue().toInstant().toEpochMilli())",
                  "lang": "painless"
                }
              }
            },
            "dynamic": "false",
            "dynamic_templates": [],
            "properties": {
              "log_timestamp": {
                "format": "yyyy-MM-dd HH:mm:ss.SSS",
                "type": "date"
              },
              "server_name": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "ignore_above": 256,
                    "type": "keyword"
                  }
                }
              },
              "geoip": {
                "type": "object",
                "properties": {
                  "timezone": {
                    "type": "keyword"
                  },
                  "ip": {
                    "type": "ip"
                  },
                  "latitude": {
                    "type": "float"
                  },
                  "country_code2": {
                    "type": "keyword"
                  },
                  "country_name": {
                    "type": "keyword"
                  },
                  "country_code3": {
                    "type": "keyword"
                  },
                  "continent_code": {
                    "type": "keyword"
                  },
                  "location": {
                    "ignore_malformed": false,
                    "type": "geo_point",
                    "ignore_z_value": true
                  },
                  "longitude": {
                    "type": "float"
                  }
                }
              },
              "level": {
                "type": "keyword"
              },
              "time_start": {
                "format": "strict_date_optional_time",
                "type": "date"
              },
              "access_status": {
                "type": "keyword"
              },
              "remote_address": {
                "type": "ip"
              },
              "request_method": {
                "type": "keyword"
              },
              "request_uri": {
                "type": "keyword"
              },
              "http_user_agent": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "ignore_above": 256,
                    "type": "keyword"
                  }
                }
              },
              "@timestamp": {
                "type": "date"
              },
              "request_length": {
                "type": "long"
              },
              "time_finish": {
                "format": "strict_date_optional_time",
                "type": "date"
              },
              "class": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "ignore_above": 256,
                    "type": "keyword"
                  }
                }
              }
            }
          }
        },
        "composed_of": [],
        "priority": 110,
        "data_stream": {
          "hidden": false,
          "allow_custom_routing": false
        }
      }
    }
  ]
}

参考文档

es 管道：https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest.html
es remove处理器：https://www.elastic.co/guide/en/elasticsearch/reference/8.8/remove-processor.html
es 索引模板：https://www.elastic.co/guide/en/elasticsearch/reference/current/index-templates.html
es index配置：https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-update-settings.html
es mapping设置：https://www.elastic.co/guide/en/elasticsearch/reference/current/explicit-mapping.html
es动态mapping：https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic.html
es 别名：https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-aliases.html
es runtime：https://www.elastic.co/guide/en/elasticsearch/reference/current/runtime.html
ILM配置：https://www.elastic.co/guide/en/elasticsearch/reference/current/index-lifecycle-management.html
数据流：https://www.elastic.co/guide/en/elasticsearch/reference/current/data-streams.html

查看更多

微信公众号

微信公众号同步更新，欢迎关注微信公众号《崔亮的博客》第一时间获取最近文章。

博客网站

崔亮的博客-专注devops自动化运维，传播优秀it运维技术文章。更多原创运维开发相关文章，欢迎访问https://www.cuiliangblog.cn

崔亮的博客
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Elasticsearch】Elasticsearch 索引策略
九师兄
10-02 442
【Elasticsearch】Elasticsearch 索引策略
Elasticsearch的搜索优化：搜索策略和优化方法
禅与计算机程序设计艺术
01-25 1011
1.背景介绍 1. 背景介绍 Elasticsearch是一个基于分布式搜索和分析引擎，它可以提供实时、高性能、可扩展的搜索功能。在大规模数据处理和实时搜索场景中，Elasticsearch是一个非常重要的工具。然而，为了充分利用Elasticsearch的优势，我们需要了解如何对其进行搜索优化。 在本文中，我们将讨论Elasticsearch的搜索策略和优化方法。我们将从核心概念和算法原理...
Elasticsearch之写入原理以及调优
最新发布
励志成为一名优秀的全能型软件开发工程师。
06-08 1493
你发布的内容在搜索服务中需要建立索引，而且你的数据可能并不会马上被写入索引，而是等待要写入的数据达到一定数量之后，批量写入。在很多业务场景中经常需要查询10000条以后的数据，当遇到不能查询10000条以后的数据的问题之后，网上的很多答案会告诉你可以通过放开这个参数的限制，将其配置为100万，甚至1000万就行。如果你不知道这个参数的意义，很可能导致的后果就是频繁的发生OOM而且很难找到原因，设置一个合理的大小是需要通过你的各项指标参数来衡量确定的，比如你用户量、数据量、物理内存的大小、分片的数量等等。
ES索引优化
蜡笔小新的邻居
04-27 340
待更新
ES索引修改
weixin_39106427的博客
06-11 3078
五步口诀 新建索引 复制数据 确认数据 删除旧索引 创建别名 新建一个索引 说明：新建的这个索引就是你要修改之后索引，测试的时候使用: modify_index_new curl -X PUT "localhost:9200/modify_index_new?pretty" -H 'Content-Type: application/json' -d' { "settings" : { "index" : { "number_of_shards" : 3,
ElasticSearch索引优化
人生就是不断地学习
01-13 588
ElasticSearch索引优化
ES索引优化方案
weixin_36382661的博客
10-21 3585
es索引优化
ES6、ES7、ES8、ES9、ES10新特性一览1
08-08
下面将详细讲解ES6、ES7、ES8、ES9以及ES10的主要新特性。 ### ES6（2015） #### 1. 类（Class） ES6引入了类的概念，提供了更简洁的面向对象编程语法，但实质上，类语法仍然是基于原型的。 #### 2. 模块化...
2019年欧洲车身会议蔚来ES8_Benchmark数据.pdf
01-21
2019年欧洲车身会议蔚来ES8_Benchmark数据
node-express-es8：使用最佳实践使用Nodejs Express和Es8编写的样板代码
02-03
Node.js-Express，MongoDB，ES8 REST API样板 产品特点 使用 没有转译器，只有带有ES2018最新功能（例如Async / Await）的原始javascript Express + MongoDB（） 已启用CORS，并使用设置一些HTTP标头以确保安全性...
运用es8 搭建自己的智能问答系统
05-09
es 智能问答 es8.1 elasticsearch8.x 智能问答系统 ai
es自动化脚本:创建索引和结构映射
02-07
以脚本方式创建es 索引和结构映射. 莎士比亚在不经意间这样说过，本来无望的事，大胆尝试，往往能成功。我希望诸位也能好好地体会这句话。 一般来讲，我们都必须务必慎重的考虑考虑。 就我个人来说，我秃头了对我的意义，不能不说非常重大。 我认为， 带着这些问题，我们来审视一下我秃头了。 就我个人来说，我秃头了对我的意义，不能不说非常重大。 在这种困难的抉择下，本人思来想去，寝食难安。 邓拓曾经提到过，越是没有本领的就越加自命不凡。这不禁令我深思。 西班牙曾经提到过，自己的鞋子，自己知道紧在哪里。这不禁令我深思。 了解清楚我秃头了到底是一种怎么样的存在，是解决一切问题的关键。 不用谢,我热愛滑铲.
SpringBoot集成Elasticsearch（已实现各种ES操作，上手即可用
11-12
本实例涵盖ES中的各类操作，如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、关键字查询、高亮显示、逻辑查询、过滤查询、分组查询等等。并且已经过生产环境验证，各位可放心使用。如有不对之处欢迎...
用ES实现拼音搜索策略
百木森森的专栏
09-22 1608
Elasticsearch用拼音搜索中文的实现方式
es对已有的索引给主键_ES中对索引的相关操作
weixin_39604897的博客
12-20 145
写在前面：本文ES版本为：6.4.2(单机)，并安装了head插件，运用postman进行操作。也可以使用head插件在前端浏览器中进行傻瓜式操作，后续会介绍这种方式！如果没有安装es和head插件的话，请先安装！至于索引分片等相关知识，请自行学习，后续也会更新出来！以下方法中的地址省略了ip+端口。。。。。。1、新建索引PUT /index_001新建一个名字为index_001的索引1.1索引...
ElasticSearch~ES索引操作~对索引的增删改查
qq_40603010的博客
06-02 1361
Elasticsearch的索引操作 api操作
Elasticsearch——索引配置、模板和重建详解
吴声子夜歌的博客
10-04 1961
使用keyword分词器、lowercase分词过滤、字符过滤器是html strip,这3部分构成一个分词器。上面示例返回分词结果是this is a test,其中html_strip过滤掉了html字符。也可以指定索引进行分词。
es如何修改es索引字段类型 reindex
yuec1998的博客
09-03 5411
今天因为上线之前，忘记提单先把es的索引新增的几个字段先建好，导致需求上线后，一些触发es推送数据的接口，使得es自动根据数据类型创建索引机制生效，原本我打算增加的mapping字段是数组keyword类型的，但是es自动匹配创建类型为long，导致索引作废，可是这个es索引24小时都有人在使用，如果粗暴删除重建索引，再全量同步数据，会导致一段时间国内外用户查询数据受影响，这个操作估计也会上传比较严重的故障等级，那有什么解决方法吗？–当然 如果你们系统没有使用es别名，那么暂时先按以下方式处理，后面提出了后
ES-索引的增删改查
draymond7107的博客
06-29 1746
目的：存储学生的分数信息，且支持 搜索 “姓名、课程名、分数”
es8如何用python创建索引
02-21
用Python创建索引可以使用Python的内置函数enumerate，它可以帮助枚举容器中的元素，并给它们分配一个索引值。例如，可以使用enumerate创建一个列表：list_example = [1,2,3,4] for index, value in enumerate(list_example): print(index, value) 结果：0 1 1 2 2 3 3 4
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值