配置数据写入es的时间

1、设置es的pipeline
PUT _ingest/pipeline/test-news-server-online      # test-news-server-online 为流水线的名称
{
  "description": "test-news-server-online",       # 对 pipeline 进行描述
  "processors": [
    {
      "grok": {                                   # 使用 grok 对日志内容进行提取
        "field": "message",					      # 选择要提取信息的字段
        "patterns": [
          "%{TIMESTAMP_ISO8601:logatime}"         # 使用 TIMESTAMP_ISO8601 的标准匹配时间,将匹配的值赋值给新增的字段 logatime
        ],
        "ignore_failure": true		              # 如果日志中有不存在时间戳的行,可以添加这个配置来忽略匹配错误产生的 error 信息
      },
      "date": {					                  # 使用 data 时间戳插件来格式化时间输出,替代默认的 @timestamp
        "field": "logatime",				      # 指定使用新增的 logatime 字段
        "timezone": "Asia/Shanghai", 	          # 指定输出时间的时区,不指定的话可能会比正确的时间晚 8 个小时
        "formats": [
          "yy-MM-dd HH:mm:ss.SSS"	              # 指定时间输出的格式
        ],
        "ignore_failure": true		              # 如果遇到错误则忽略
      }
    }
  ]
}

2、检查pipeline是否设置成功

GET _ingest/pipeline/test-news-server-online

3、在索引的setting里设置默认pipeline

PUT customer
{
  "settings": {
    "index":{
      "default_pipeline":"test-news-server-online"
    }
  }
}

这样,在数据写es时候,就会生成字段date,数据写入时间

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch 中有一些配置会影响批量写入的性能,以下是其中的几个: 1. 索引刷新间隔(index.refresh_interval):默认情况下,Elasticsearch 每秒钟会自动刷新一次索引,以确保最新的文档能够被搜索到。但是,这个自动刷新会导致写入性能下降,所以可以通过调整索引刷新间隔来优化批量写入性能。可以将索引刷新间隔设置为 -1,表示关闭自动刷新,等所有的写入操作完成后再手动刷新索引。 2. 批量写入大小(bulk.size):Elasticsearch 提供了批量写入 API,可以将多个文档一次性写入到索引中,这样可以减少网络开销和减少写入操作的次数。可以通过调整批量写入大小来优化批量写入性能。 3. 并发写入(index.concurrent_requests):Elasticsearch 默认使用多线程并发写入数据,可以通过调整并发写入的线程数来优化批量写入性能。可以将并发写入的线程数设置为机器的 CPU 核心数。 4. 内存缓冲(index.translog.durability):Elasticsearch 使用内存缓冲来加速写入操作,可以通过调整内存缓冲的大小来优化批量写入性能。但是,如果内存缓冲过大,可能会导致内存溢出,所以需要根据实际情况进行调整。 5. 索引副本(index.number_of_replicas):Elasticsearch 默认会为每个索引创建一个副本,可以通过调整索引副本的数量来优化批量写入性能。副本越多,写入性能越差,但是可以提高读取性能和可用性。可以将索引副本设置为 0,表示关闭副本,优化写入性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值