k8s+ECK+Fluentbit+prometheus-elasticsearch-exporter+elasticsearch-curator

最新推荐文章于 2024-04-24 14:23:19 发布
最新推荐文章于 2024-04-24 14:23:19 发布
阅读量1.8k 收藏 5
点赞数
分类专栏： 分布式存储 k8s elasticsearch 文章标签： kubernetes elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22765745/article/details/109002106
版权

在部署es集群收集日志，以及用prometheus实现监控的遇到很多的坑，大概花了两个礼拜的时间，走通了，希望可以对读者的有一定的帮助。

一、部署集群k8s, 这个需要自行部署，我选择的k8s 1.16

二、部署es集群

1、添加ECK自定义资源

kubectl apply -f all-in-one.yaml  (说明，我设置的命名空间为logging-system)
kubectl apply -f https://download.elastic.co/downloads/eck/1.1.2/all-in-one.yaml
如果有需求的，可以把这个文件下载下来进行命名空间的设置，部署完可以查看如下。

kubectl get all -n logging-system
pod/elastic-operator-0                       1/1     Running   0          18d
service/elastic-webhook-server          ClusterIP   172.30.198.157   <none>        443/TCP         18d
statefulset.apps/elastic-operator                1/1     18d

2、部署elasticsearch

存储是通过节点本地存储的方式

(1) 创建存储类
kubectl apply -f es-data-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: es-data
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
reclaimPolicy: Retain
(2) 创建PV

如果/var/lib/hawkeye/esdata文件夹不存在，需要先进行创建。

apiVersion: v1
kind: PersistentVolume
metadata:
  name: es-data-0
spec:
  capacity:
    storage: 20Gi
  accessModes:
  - ReadWriteOnce
  storageClassName: es-data
  persistentVolumeReclaimPolicy: Retain
  local:
    path: /var/lib/hawkeye/esdata
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - nodeName(需要修改)
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: es-data-1
spec:
  capacity:
    storage: 20Gi
  accessModes:
  - ReadWriteOnce
  storageClassName: es-data
  persistentVolumeReclaimPolicy: Retain
  local:
    path: /var/lib/hawkeye/esdata
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - nodeName(需要修改)
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: es-data-2
spec:
  capacity:
    storage: 20Gi
  accessModes:
  - ReadWriteOnce
  storageClassName: es-data
  persistentVolumeReclaimPolicy: Retain
  local:
    path: /var/lib/hawkeye/esdata
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - nodeName(需要修改)
(3) 创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: elasticsearch-data-elasticsearch-es-master-nodes-0
  namespace: logging-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: es-data
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: elasticsearch-data-elasticsearch-es-data-nodes-0
  namespace: logging-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: es-data
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: elasticsearch-data-elasticsearch-es-data-nodes-1
  namespace: logging-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: es-data
(4)创建集群密码，如果不创建，那么集群就会随机生成
apiVersion: v1
data:
  elastic: yourSecret #(需要base64加密)
kind: Secret
metadata:
  labels:
    common.k8s.elastic.co/type: elasticsearch
    eck.k8s.elastic.co/credentials: "true"
    elasticsearch.k8s.elastic.co/cluster-name: elasticsearch
  name: elasticsearch-es-elastic-user #名字不能改
  namespace: logging-system
type: Opaque
(5)创建es集群

这里创建三个节点，两个数据节点，一个管理节点，

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: elasticsearch
  namespace: logging-system
spec:
  version: 7.2.0
  image: docker.elastic.co/elasticsearch/elasticsearch:7.2.0
  nodeSets:
  - name: master-nodes
    count: 1
    config:
      node.master: true
      node.data: false
    podTemplate:
      metadata:
        namespace: logging-system
      spec:
        initContainers:
        - name: sysctl
          securityContext:
            privileged: true
          command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']
        #volumes:
        #- name: elasticsearch-data
        #  emptyDir: {}
        containers:
        - name: elasticsearch
          env:
          - name: ES_JAVA_OPTS
            value: -Xms1g -Xmx1g
          resources:
            requests:
              memory: 2Gi
            limits:
              memory: 10Gi
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 20Gi
        storageClassName: es-data
  - name: data-nodes
    count: 2
    config:
      node.master: false
      node.data: true
    podTemplate:
      metadata:
        namespace: logging-system
      spec:
        initContainers:
        - name: sysctl
          securityContext:
            privileged: true
          command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']
        #volumes:
        #- name: elasticsearch-data
        #  emptyDir: {}
        containers:
        - name: elasticsearch
          env:
          - name: ES_JAVA_OPTS
            value: -Xms1g -Xmx1g
          resources:
            requests:
              memory: 2Gi
            limits:
              memory: 10Gi
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 20Gi
        storageClassName: es-data

会生成如下

kubectl get all -n logging-system
pod/elasticsearch-es-data-nodes-0            1/1     Running   0          10d
pod/elasticsearch-es-data-nodes-1            1/1     Running   0          10d
pod/elasticsearch-es-master-nodes-0          1/1     Running   0          10d

service/elasticsearch-es-data-nodes     ClusterIP   None             <none>        <none>          10d
service/elasticsearch-es-http           ClusterIP   172.30.229.248   <none>        9200/TCP        10d
service/elasticsearch-es-master-nodes   ClusterIP   None             <none>        <none>          10d

kubectl get elasticsearch -n logging-system

NAME            HEALTH   NODES   VERSION   PHASE   AGE
elasticsearch   green    3       7.2.0     Ready   10d

可以查看集群状态
curl -u "elastic:yourpassword" -k https://172.30.229.248(是你集群中生成的IP,为elasticsearch-es-http的ClusterIP):9200
{
  "name" : "elasticsearch-es-data-nodes-0",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "caWatVXyQmSNDLQ7lEO7qg",
  "version" : {
    "number" : "7.2.0",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "508c38a",
    "build_date" : "2019-06-20T15:54:18.811730Z",
    "build_snapshot" : false,
    "lucene_version" : "8.0.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

获取集群密码
kubectl -n logging-system get secret elasticsearch-es-elastic-user -o=jsonpath='{.data.elastic}' | base64 --decode; echo

2、部署kibana

apiVersion: kibana.k8s.elastic.co/v1
kind: Kibana
metadata:
  name: kibana
  namespace: logging-system
spec:
  version: 7.2.0
  count: 1
  elasticsearchRef:
    name: elasticsearch
  http:
    tls:
      selfSignedCertificate:
        disabled: true

这样就可以登录到kibana中，用户名密码和es集群中的相同。

3、部署fluentbit

分别包含文件fluentbit-clusterRoleBinding.yaml、fluentbit-clusterRole.yaml、fluentbit-configmap.yaml、fluentbit-daemonset.yaml、fluentbit-serviceAccount.yaml、fluentbit-service.yaml、kustomization.yaml
文件都放在同一个文件夹下，
执行 kubectl apply -k .

fluentbit-clusterRoleBinding.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: fluentbit-read
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: fluentbit-read
subjects:
- kind: ServiceAccount
  name: fluentbit
  namespace: logging-system

fluentbit-clusterRole.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: fluentbit-read
rules:
- apiGroups: [""]
  resources:
  - namespaces
  - pods
  verbs: ["get", "list", "watch"]

fluentbit-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentbit-config
  namespace: logging-system
data:
  filter-kubernetes.conf: |
    [FILTER]
        Name record_modifier
        Match *
        Record hostname ${HOSTNAME}
  fluent-bit.conf: |
    [SERVICE]
        # Set an interval of seconds before to flush records to a destination
        Flush        5
        # Instruct Fluent Bit to run in foreground or background mode.
        Daemon       Off
        # Set the verbosity level of the service, values can be:
        Log_Level    info
        # Specify an optional 'Parsers' configuration file
        Parsers_File parsers.conf
        # Plugins_File plugins.conf
        # Enable/Disable the built-in Server for metrics
        HTTP_Server  On
        HTTP_Listen  0.0.0.0
        HTTP_Port    2020

    @INCLUDE input-kubernetes.conf
    @INCLUDE filter-kubernetes.conf
    @INCLUDE output-elasticsearch.conf
  input-kubernetes.conf: |
    [INPUT]
        Name              systemd
        Tag               host.*
        Path              /var/log/journal
        DB /var/log/fluentbit/td.sys.pos
  output-elasticsearch.conf: |
    [OUTPUT]
        Name            es
        Match           kube.*
        Host            ${FLUENT_ELASTICSEARCH_HOST}
        Port            ${FLUENT_ELASTICSEARCH_PORT}
        tls             ${TLS_ENABLE}
        tls.verify      ${TLS_VERIFY}
        HTTP_User       ${ELASTICSEARCH_USERNAME}
        HTTP_Passwd     ${ELASTICSEARCH_PASSWORD}
        # Replace_Dots    On
        Retry_Limit     False
        Index kube
        Type kube
        Buffer_Size 2M
        Include_Tag_Key On
        Tag_Key component
        Logstash_Format On
        Logstash_prefix umstor-monitor

  parsers.conf: |
    [PARSER]
        Name   apache
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>.*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   apache2
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   apache_error
        Format regex
        Regex  ^\[[^ ]* (?<time>[^\]]*)\] \[(?<level>[^\]]*)\](?: \[pid (?<pid>[^\]]*)\])?( \[client (?<client>[^\]]*)\])? (?<message>.*)$

    [PARSER]
        Name   nginx
        Format regex
        Regex ^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   json
        Format json
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name        docker
        Format      json
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   On
        # Command      |  Decoder | Field | Optional Action
        # =============|==================|=================
        Decode_Field_As   escaped    log

    [PARSER]
        Name        docker-daemon
        Format      regex
        Regex       time="(?<time>[^ ]*)" level=(?<level>[^ ]*) msg="(?<msg>[^ ].*)"
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   On

    [PARSER]
        Name        syslog-rfc5424
        Format      regex
        Regex       ^\<(?<pri>[0-9]{1,5})\>1 (?<time>[^ ]+) (?<host>[^ ]+) (?<ident>[^ ]+) (?<pid>[-0-9]+) (?<msgid>[^ ]+) (?<extradata>(\[(.*)\]|-)) (?<message>.+)$
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   On

    [PARSER]
        Name        syslog-rfc3164-local
        Format      regex
        Regex       ^\<(?<pri>[0-9]+)\>(?<time>[^ ]* {1,2}[^ ]* [^ ]*) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?(?:[^\:]*\:)? *(?<message>.*)$
        Time_Key    time
        Time_Format %b %d %H:%M:%S
        Time_Keep   On

    [PARSER]
        Name        syslog-rfc3164
        Format      regex
        Regex       /^\<(?<pri>[0-9]+)\>(?<time>[^ ]* {1,2}[^ ]* [^ ]*) (?<host>[^ ]*) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?(?:[^\:]*\:)? *(?<message>.*)$/
        Time_Key    time
        Time_Format %b %d %H:%M:%S
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   On

    [PARSER]
        Name    mongodb
        Format  regex
        Regex   ^(?<time>[^ ]*)\s+(?<severity>\w)\s+(?<component>[^ ]+)\s+\[(?<context>[^\]]+)]\s+(?<message>.*?) *(?<ms>(\d+))?(:?ms)?$
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   On
        Time_Key time

    [PARSER]
        # http://rubular.com/r/izM6olvshn
        Name crio
        Format Regex
        Regex /^(?<time>.+)\b(?<stream>stdout|stderr)\b(?<log>.*)$/
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%N%:z
        Time_Keep   On

    [PARSER]
        Name    kube-custom
        Format  regex
        Regex   var\.log\.containers\.(?<pod_name>[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*)_(?<namespace_name>[^_]+)_(?<container_name>.+)-(?<docker_id>[a-z0-9]{64})\.log$

    [PARSER]
        Name    filter-kube-test
        Format  regex
        Regex   .*kubernetes.(?<pod_name>[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*)_(?<namespace_name>[^_]+)_(?<container_name>.+)-(?<docker_id>[a-z0-9]{64})\.log$

    [PARSER]
        # umstor for all log files
        # http://rubular.com/r/IvZVElTgNl
        Name umstor
        Format regex
        Regex ^(?<log_time>[^ ][-.\d\+:T]+[ ]*[.:\d]*)\s+(?<thread_id>\w+)\s+(?<log_level>-*\d+)\s+(?<message>.*)$
        Time_Format %Y-%m-%d %H:%M:%S.%L
        Time_Keep Off
        Time_Key log_time

    [PARSER]
        # scrub for osd
        Name umstor-scrub
        Format regex
        Regex ^(?<log_time>[^ ][-.\d\+:T]+[ ]*[.:\d]*)\s+(?<m>\w+)\s+(?<ret>-*\d+)\s+(?<message>.*)\s+(?<scrub_pg>\d+.\w+)\s+(?<scrub_status>scrub\s\w+)$
        Time_Format %Y-%m-%d %H:%M:%S.%L
        Time_Keep Off
        Time_Key log_time

    [PARSER]
        # deep-scrub for osd
        Name umstor-deep-scrub
        Format regex
        Regex ^(?<log_time>[^ ][-.\d\+:T]+[ ]*[.:\d]*)\s+(?<m>\w+)\s+(?<ret>-*\d+)\s+(?<message>.*)\s+(?<scrub_pg>\d+.\w+)\s+(?<scrub_status>deep-scrub\s\w+)$
        Time_Format %Y-%m-%d %H:%M:%S.%L
        Time_Keep Off
        Time_Key log_time

    [PARSER]
        # log warning for osd, mon
        Name umstor-log-warn
        Format regex
        Regex ^(?<log_time>[^ ][-.\d\+:T]+[ ]*[.:\d]*)\s+(?<m>\w+)\s+(?<ret>-*\d+)\s+(?<log_channel>[^ ]+)\s+\w+\s+(?<log_level>[\[WRN\]]+)\s+(?<message>.*)$
        Time_Format %Y-%m-%d %H:%M:%S.%L
        Time_Keep Off
        Time_Key log_time

    [PARSER]
        # log debug for osd, mon
        Name umstor-log-debug
        Format regex
        Regex ^(?<log_time>[^ ][-.\d\+:T]+[ ]*[.:\d]*)\s+(?<m>\w+)\s+(?<ret>-*\d+)\s+(?<log_channel>[^ ]+)\s+\w+\s+(?<log_level>[\[DBG\]]+)\s+(?<message>.*)$
        Time_Format %Y-%m-%d %H:%M:%S.%L
        Time_Keep Off
        Time_Key log_time

 fluentbit-daemonset.yaml
 apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentbit
  namespace: logging-system
  labels:
    k8s-app: fluentbit-logging
    kubernetes.io/cluster-service: "true"
spec:
  selector:
    matchLabels:
      k8s-app: fluentbit-logging
      kubernetes.io/cluster-service: "true"
  template:
    metadata:
      labels:
        k8s-app: fluentbit-logging
        kubernetes.io/cluster-service: "true"
      annotations:
        prometheus.io/path: /api/v1/metrics/prometheus
    spec:
      containers:
      - name: fluentbit
        image: registry.umstor.io:5050/vendor/fluent-bit:1.3
        imagePullPolicy: IfNotPresent
        ports:
          - containerPort: 2020
            name: http-metrics
        env:
        - name: FLUENT_ELASTICSEARCH_HOST
          value: "elasticsearch-es-http"
        - name: FLUENT_ELASTICSEARCH_PORT
          value: "9200"
        - name: ELASTICSEARCH_USERNAME
          value: "elastic"
        - name: ELASTICSEARCH_PASSWORD
          value: "r00tme"
        - name: TLS_ENABLE
          value: "On"
        - name: TLS_VERIFY
          value: "Off"
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        - name: fluentbit-config
          mountPath: /fluent-bit/etc/
      terminationGracePeriodSeconds: 10
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
      - name: fluentbit-config
        configMap:
          name: fluentbit-config
      serviceAccountName: fluentbit
      tolerations:
      - key: node-role.kubernetes.io/master
        operator: Exists
        effect: NoSchedule
      - operator: "Exists"
        effect: "NoExecute"
      - operator: "Exists"
        effect: "NoSchedule"

fluentbit-serviceAccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluentbit
  namespace: logging-system

fluentbit-service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    k8s-app: fluentbit-logging
  name: fluentbit-logging
  namespace: logging-system
spec:
  clusterIP: None
  ports:
  - name: http-metrics
    port: 2020
    protocol: TCP
    targetPort: http-metrics
  type: ClusterIP
  selector:
    k8s-app: fluentbit-logging

kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: logging-system
resources:
- fluentbit-clusterRoleBinding.yaml
- fluentbit-clusterRole.yaml
- fluentbit-daemonset.yaml
- fluentbit-serviceAccount.yaml
- fluentbit-service.yaml
- fluentbit-configmap.yaml

三、prometheus-elasticsearch-exporter

1、创建deployment

		这里面有个坑，就是设置容器的参数，先添加用户名和密码，以及要关闭SSL验证

在这里插入apiVersion: apps/v1
kind: Deployment
metadata:
  name: elasticsearch-exporter
  namespace: logging-system
  labels:
    app: elasticsearch-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app: elasticsearch-exporter
  template:
    metadata:
      labels:
        app: elasticsearch-exporter
    spec:
      containers:
      - name: elasticsearch-exporter
        image: registry.umstor.io:5050/vendor/elasticsearch_exporter:1.1.0
        resources:
          limits:
            cpu: 300m
          requests:
            cpu: 200m
        ports:
        - containerPort: 9114
          name: https
        command:
        - /bin/elasticsearch_exporter
        - --es.all
        - --web.telemetry-path=/_prometheus/metrics
        - --es.ssl-skip-verify
        - --es.uri=https://elastic:r00tme@elasticsearch-es-http:9200
        securityContext:
          capabilities:
            drop:
            - SETPCAP
            - MKNOD
            - AUDIT_WRITE
            - CHOWN
            - NET_RAW
            - DAC_OVERRIDE
            - FOWNER
            - FSETID
            - KILL
            - SETGID
            - SETUID
            - NET_BIND_SERVICE
            - SYS_CHROOT
            - SETFCAP
          readOnlyRootFilesystem: true
        livenessProbe:
          httpGet:
            path: /healthz
            port: 9114
          initialDelaySeconds: 30
          timeoutSeconds: 10
        readinessProbe:
          httpGet:
            path: /healthz
            port: 9114
          initialDelaySeconds: 10
          timeoutSeconds: 10代码片

2、创建es对应prometheus的serviceMonitor

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    es-app: es-exporter
  name: es-client-node
  namespace: logging-system
spec:
  endpoints:
  - interval: 30s
    honorLabels: true
    port: https
    path: /_prometheus/metrics
  namespaceSelector:
    matchNames:
    - logging-system
  jobLabel: es-app
  selector:
    matchLabels:
      app: elasticsearch-exporter

3、创建elasticsearch-exporter 对应的service

这也是个坑，如果不创建service ,就不会生成endpoints,

apiVersion: v1
kind: Service
metadata:
  labels:
    app: elasticsearch-exporter
  name: elasticsearch-exporter
  namespace: logging-system
spec:
  ports:
  - name: https
    port: 9114
    protocol: TCP
    targetPort: 9114
  selector:
    app: elasticsearch-exporter
  sessionAffinity: None
  type: ClusterIP
status:
  loadBalancer: {}

四、es日志的自动清理

这可能是最大的坑，因为es7.2版本不兼容任何的elasticsearch-curator,所以作者自己要开发的一个版本的elasticsearch-curator,我放在github上。
对应的文件有个四个，actions.yaml, curator-cronjob.yaml, curator.yaml, kustmoization.yaml

actions.yaml
actions:
  1:
    action: delete_indices
    description: >-
      Delete metric indices older than 21 days (based on index name), for
      .monitoring-es-6-
      .monitoring-kibana-6-
      umstor-os-
      umstor-sys-
      umstor-monitor-
      umstor-internal-
      security-auditlog-
      prefixed indices. Ignore the error if the filter does not result in an
      actionable list of indices (ignore_empty_list) and exit cleanly.
    options:
      continue_if_exception: False
      disable_action: False
      ignore_empty_list: True
    filters:
    - filtertype: pattern
      kind: regex
      value: '^(\.monitoring-(es|kibana)-6-|umstor-(os|sys|internal|kube|monitor)-|security-auditlog-).*$'
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 21
  2:
    action: close
    description: >-
      Close metric indices older than 14 days (based on index name), for
      .monitoring-es-6-
      .monitoring-kibana-6-
      umstor-os-
      umstor-sys-
      umstor-monitor-
      umstor-internal-
      security-auditlog-
      prefixed indices. Ignore the error if the filter does not result in an
      actionable list of indices (ignore_empty_list) and exit cleanly.
    options:
      continue_if_exception: True
      disable_action: False
      ignore_empty_list: True
    filters:
    - filtertype: pattern
      kind: regex
      value: '^(\.monitoring-(es|kibana)-6-|umstor-(os|sys|internal|kube|monitor)-|security-auditlog-).*$'
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 14

curator-cronjob.yaml
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: curator
spec:
  schedule: 59 23 * * *
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: curator
            image: registry.umstor.io:5050/vendor/elasticsearch-curator:v1.0.0
            volumeMounts:
            - mountPath: /etc/curator/
              name: curator-config
              readOnly: true
            - mountPath: /var/log/curator
              name: curator-log
          restartPolicy: OnFailure
          volumes:
          - configMap:
              name: curator-config
            name: curator-config
          - hostPath:
              path: /var/log/curator
            name: curator-log

curator.yaml
client:
  hosts:
    - elasticsearch-es-http
  port: 9200
  url_prefix:
  use_ssl: True
  certificate:
  client_cert:
  client_key:
  ssl_no_validate: True
  http_auth: elastic:r00tme
  timeout: 30
  master_only: False

logging:
  loglevel: INFO
  logfile: /var/log/curator/curator.log
  logformat: default
  blacklist: []

kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: logging-system
resources:
- curator-cronjob.yaml
generatorOptions:
  disableNameSuffixHash: true
configMapGenerator:
- files:
  - curator.yaml
  - actions.yaml
  name: curator-config
images:
- name: registry.umstor.io:5050/vendor/elasticsearch-curator
  newTag: "v1.0.0"
逆风更适合_飞翔
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
kubernetes-efk：设置Elasticsearch，Fluentd和Kibana（EFK）
02-22
Kubernetes上的弹性云 注意：Elasticstack中的命名空间已更改为logging 在此存储库中，我们将设置Elasticsearch和Kibana，然后设置Fluentd 松紧带 在本节中，我们将与Elasticsearch和Kibana一起设置elastitc运算符 在您的Kubernetes集群中部署ECK 安装自定义资源定义和操作员及其RBAC规则： kubectl apply -f elastic/all-in-one.yaml kubectl -n logging logs -f statefulset.apps/elastic-operator监视操作员日志： 部署Elasticsearch集群 应用简单的Elasticsearch集群规范，其中包含三个Elasticsearch节点： 部署kubectl apply -f elastic/elast
cloud-on-k8s：Kubernetes上的弹性云
02-02
Kubernetes上的弹性云（ECK） Kubernetes上的Elastic Cloud根据操作员模式自动在Kubernetes上自动执行Elasticsearch，Kibana，APM Server，Enterprise Search和Beats的部署，配置，管理和编排。 当前功能： Elasticsearch，Kibana，APM服务器，企业搜索和Beats部署 TLS证书管理 安全的Elasticsearch集群配置和拓扑更改 永久卷使用 自定义节点配置和属性 安全设置密钥库更新 支持的版本： Kubernetes 1.12+或OpenShift 3.11+ Elasticsearch，Kibana，APM服务器：6.8 +，7.1 + 企业搜索：7.7+ 节拍：7.0+ 检查 以使用ECK部署您的第一个集群。 如果您想为该项目做出贡献，请查看我们的并了解。 有关一般性问题，请参阅Elastic。
【Elasticsearch专栏 13】深入探索：Elasticsearch使用Curator工具删除Elasticsearch中的历史数据
weixin_40736233的博客
02-24 1161
使用Curator工具可以有效管理Elasticsearch中的旧数据，通过编写YAML配置文件定义删除操作。配置中指定了基于索引名称前缀和年龄的过滤器，确保仅删除符合条件的旧索引。执行删除操作时，Curator会应用过滤器识别目标索引，并向Elasticsearch发送删除请求。通过设置选项，如忽略空列表和超时时间，可以确保操作的灵活性和稳定性。使用Curator不仅释放了存储空间，还提高了查询性能，是维护Elasticsearch健康的重要工具
轻量级日志收集转发 fluent bit
wy
06-01 1239
# fluent bit 是开源的日志处理器和转发器，是 Fluentd 和 CNCF 的子项目，其完全基于 Fluentd 架构和通用设计的最佳理念进行设计和构建 ... # 其设计目标是成为瑞士军刀式的通用采集、处理、输出工具... # 允许从不同来源收集任何数据，如指标和日志，用过滤器丰富它们并发送到多个目的地，是Kubernetes等容器化环境的首选 # 其设计上注重性能：高吞吐量、低CPU和内存使用率，用C语言编写，具有可插拔架构，支持70多种输入、过滤器和输出扩展 ... # 其数据缓存在内..
云原生 | K8S集群部署es集群+kibana
m0_70331483的博客
04-12 1313
K8S集群部署es集群+kibana
k8s部署prometheus的各exporter
k8seasz的博客
06-29 932
prometheus
进阶之路：从零到一在k8s上部署高可用prometheus —— exporter
ary的博客
07-29 911
目录导航前言相关yaml文件statefulset.yamlservice.yamlservice-nodeport.yaml部署验证 导航 进阶之路：从零到一在k8s上部署高可用prometheus —— 总览 前言 exporter种类繁多，有官方提供也有大佬贡献，在此不作赘述。本文选择部署node_exporter作为演示，其他exporter请按需修改。 相关yaml文件 statefulset.yaml apiVersion: apps/v1 kind: StatefulSet metadata:
实战k8s监控--Exporter
勿念旧梦
08-29 3358
Exporter介绍 Exporter是什么 广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。而Exporter的一个实例称为target，如下所示，Prometheus通过轮询的方式定期从这些target中获取样本数据 Exporter的来源 从Exporter的来源上来讲，主要分为两类： 社区提供的 Prometheus社区提供了丰富的Exporter实现，涵盖了从基础设施，中间件以及网络等各个方面的监控功能。这些Exporter可以实现大部分通用的监控
Kubernetes 集群部署 RabbitMQ + exporter (单节点)
Mo小泽的技术博客
09-07 2478
文章目录Kubernetes 集群部署 RabbitMQ (单节点)一、简介二、RabbitMQ 数据存储1、创建 PV2、创建 PVC 绑定 Mysql 存储空间3、通过 Kubectl 工具部署 PV、PVC三、Kubernetes 部署 RabbitMQ1、创建 Deployment 部署 RabbitMQ2、通过 Kubectl 工具部署 RabbitMQ四、测试 RabbitMQ 是否能够正常使用 Kubernetes 集群部署 RabbitMQ (单节点) 系统环境： RabbitMQ 版本：
【Prometheus】elasticsearch-prometheus-exporter监控elasticsearch
宫凯宁的博客
10-29 4331
1、安装 执行以下命令， ./bin/elasticsearch-plugin install -b https://github.com/vvanholl/elasticsearch-prometheus-exporter/releases/download/7.3.2.0/prometheus-exporter-7.3.2.0.zip 返回如下： -> Downloading ht...
1. 使用 fluent-bit 采集文件
yz271544的博客
03-20 3433
Fluent Bit是一款快速、灵活的日志处理器，旨在收集、解析、过滤日志，并将日志发送到远程数据库，以便执行数据分析。 数据分析通常发生在数据存储和数据库索引之后，但对于实时和复杂的分析需求，在日志处理器中处理仍在运行的数据会带来很多好处，这种方法被称为边缘流处理(Stream Processing on the Edge)。
fluent-plugin-prometheus:流利的插件，可收集指标并为Prometheus公开
04-09
fluent-plugin-prometheus， 的插件 一个流利的插件，可以记录记录中的指标并通过Web界面公开它们。 打算与一起使用。 要求 流利的插件普罗米修斯 流利的 Ruby 1.xy > = v1.9.1 > = 2.4 1. [0-7] .y > = v0.14.8 > = 2.1 0.xy > = v0.12.0 > = 1.9 从v1.8.0开始，fluent-plugin-prometheus使用来启动HTTP服务器。 如果要处理大量连接，请安装async-http gem。 安装 将此行添加到您的应用程序的Gemfile中： gem 'fluent-plugin-prometheus' 然后执行： $ bundle 或将其自己安装为： $ gem install fluent-plugin-prometheus 用法 fluentd-pl
EFK堆栈：Elasticsearch + FluentD（Fluent-Bit）+ Kibana
02-20
Elasticsearch + FluentD（Fluent-Bit）+ Kibana 流利位适用于内部服务器。 中继（流利位）用于外部服务器。 FluentD适用于Office Server。 流利的位和FluentD 例子 $ make -e SSH=sshname rebuild-deploy 中继 对于Office Server，中继作为docker run 。 您应该在/relay文件夹中运行Makefile。 例子 relay$ make -e SSH=sshname rebuild-deploy
kbd-audio：用于捕获和分析键盘输入以及麦克风捕获的工具Tools
02-23
” -Karawebnetwork “这次攻击和范·埃克（Fan Eck）偷偷摸摸的是爱德华·斯诺登（Edward Snowden）在输入密码和其他敏感信息时会在自己和笔记本电脑上盖上毯子的原因。” -阿尔奇“这是机械键盘用户应得的”
sqlectron-gui：具有跨数据库和平台支持的简单轻巧SQL客户端桌面
02-04
具有跨数据库和平台支持的简单轻巧SQL客户端。演示（1.0.0版） -当前支持的数据库列表。...如何发音它的发音为“ sequel-eck-tron”-https://translate.google.com/ source osdd#zh/zh-CN/sequel-eck-tron
ECK - Easy Configuration Kit-开源
05-03
Windows Server的真正替代品：具有一个本地域，多个Internet域，许多使用Kerberized服务的整个环境。 功能：LDAP / Kerberos / RADIUS，SMTP / POP3 / IMAP /网络邮件，FTP / HTTP，Samba，Appletalk，组件，VPN ...
K8s: 控制器之ReplicaSet对象
Wang的专栏
04-23 718
pod 是一个无状态的，并且可以被任意的按需的调度，在各个work node上运行的组件。谁来控制这类调度就变得非常复杂，不可能去手工的去维护某一个pod的一个运行实例。K8s中提供了 controller 这个概念，对于副本管理来说，有两种。如果那样的话呢，它就失去了容器的概念，就会像一个虚拟机一样去运行。RS 可以独立使用，但是也可以被 Deployment 用来协调。这个说明副本控制器就是一直在工作来维持副本运行的稳定性。新建 rep-nginx.yaml。我们可以在A窗口这个监控窗口中看到。
【K8S系列】深入解析K8S中PV 和PVC
颜淡慕潇
04-20 6012
在 Kubernetes 中，PV（持久卷）和 PVC（持久卷声明）之间的关系是一种动态匹配和绑定关系，用于实现 Pod 与存储资源的解耦。PV 和 PVC 之间的关系是一种动态的匹配和绑定关系，它们使得 Pod 与存储资源的具体实现解耦，提高了灵活性和可移植性。
5分钟快速搭建k8s集群1.29.x
最新发布
u011197085的博客
04-24 594
这些步骤共同配置了 containerd 作为 Kubernetes 集群的容器运行时环境，确保了其与系统参数和 Kubernetes 的兼容性，同时优化了网络和镜像源设置以提高效率和响应速度。这些命令将立即关闭swap分区，设置系统不使用swap，以及在fstab文件中注释掉所有swap相关的行，防止系统重启时重新启动swap。以上命令会立即将SELinux设置为宽容模式，并在系统配置文件中将SELinux永久禁用。以上命令用于将软件源切换到阿里云镜像，然后安装常用的一些软件工具。
k8s filebeat
08-11
- *3* [【k8s容器日志收集】EFK收集日志，kubernetes守护进程方式部署filebeat收集k8s集群容器日志elasticsearch+...](https://blog.csdn.net/qq_35270805/article/details/124862134)[target="_blank" data-report-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值