日志系统（es）

docker 安装es和kibana、filebeat

# 安装es
docker network create elastic
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.12.1
docker run -d --name es01-test --net elastic -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.12.1

# 安装 kibana
docker pull docker.elastic.co/kibana/kibana:7.12.1
docker run -d --name kib01-test --net elastic -p 5601:5601 -e "ELASTICSEARCH_HOSTS=http://es01-test:9200" docker.elastic.co/kibana/kibana:7.12.1

# 安装filebeat
docker pull docker.elastic.co/beats/filebeat:7.12.1

filebeat输出日志到es

# ============================== Filebeat inputs ===============================

filebeat.inputs:
- type: log
  # 启动收集日志
  enabled: true
  paths:
    # 日志路径
    - /opt/tmp/* 
# ============================== Filebeat modules ==============================
# 内置的一些日志模块存放位置
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  # 自动装载启用的模块
  reload.enabled: false


# ================================== Outputs ===================================
# 关闭系统模版
setup.template.enabled: false
# 设定自己的模版名
setup.template.name: "server1"
# 模版
setup.template.pattern: "server1-*"
# 索引的生命周期，需要禁用，否则可能无法使用自定义的索引名字
setup.ilm.enabled: false
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["esIP:9200"]
  # 输出到那个索引，因为我们这个地方自定义了索引的名字，所以需要上面配置的setup.template.[name|pattern]的配置
  index: "server1-%{+yyyy.MM.dd}"
  enable: true


# ================================= Processors =================================
processors:
  # 处理字段
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
  # 丢弃字段
  - drop_fields:
      fields: ["agent","host","path"]

kibana 页面使用 （7.12.1）

 简单配置查询条件即可完成筛选

简单的查询语句

# 查询所有索引
GET /_cat/indices?v

# 删除索引
DELETE /customer?pretty

# 查询索引为dome
GET /xtgk-code-2022.04.28/_search
{
  # 查询条件
  "query": {"match_all": {}},
  # 排序
  "sort": [
    {
		# 排序的字段
      "@timestamp": {
	    # 规则
        "order": "desc"
      }
    }
  ]
  # 结果显示的内容
  , "_source": ["@timestamp","message"]
}



GET /xtgk-code-2022.04.28/_search
{
  # 增加筛选条件
  "query": {"match": {"message": "130523301100000000000209"}},
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
  , "_source": ["@timestamp","message"]
}