日志导入ES

最新推荐文章于 2024-08-13 17:59:17 发布

anghlq

最新推荐文章于 2024-08-13 17:59:17 发布

阅读量2.2k

点赞数

分类专栏： IT

本文链接：https://blog.csdn.net/anghlq/article/details/99683768

版权

为解决分布式日志查询难题，采用了一个基于ELK的日志汇总方案，但为减少部署复杂性，引入Redis作为消息队列。通过在框架内集成此功能，使得业务无需额外配置，直接使用即可。

摘要由CSDN通过智能技术生成

为了解决分布式下的日志难于查询问题，需要一个将日志自动汇总的通用解决方案。业内标准是使用ELK方式，经典模式是app=>files=>filebeat=>logstash=>ES，但是我们机器比较多，为了简化部署问题，决定使用REDIS作为消息队列，同时框架中把这个功能集成，业务无需感知和配置，直接使用就可以了。

配置如下：

PUT /_template/app_log_a
{
  "order": 7,
  "index_patterns": [
    "app_log_a"
  ],
  "settings": {
    "index": {
      "number_of_shards": "3",
      "number_of_replicas": "1"
    }
  },
  "mappings": {
    "doc": {
    	"dynamic": "false",
      "properties": {
        "app_id": {
          "type": "long"
        },
        "action": {
          "type": "keyword"
        },
        "stat_time": {
          "type": "long"
        },
        "key1": {