前提摘要:
业务在美国aws部署,当服务遇到问题时,如何根据服务日志进行debug。
涉及到服务日志如何收集以及检索,查询。满足典型的日志查询分析场景。
ELK参考:
对比业内标准流程,ELK(Elasticsearch , Logstash, Kibana):日志采集,日志检索,检索展示,这些要在aws上找到相同功能或自建。
1 - 业务概览
部署在美国的业务有web端,app端后端服务等。
整体部署在aws 的 k8s集群上,如何对k8s集群里的这些服务进行日志检索呢?
我们先看下服务部署架构图,
通过业务架构图,可以看到,多个服务被部署,每个服务里面又有多个Pod,Pod里面的业务应用将日志输出到文件里。我们参照ELK流程考虑,
- 如何把日志采集回来。
- 如何存储到检索引擎里。
- 如何根据关键字进行日志查询,并进行展示。
2 - 方案制定
我们依次介绍下方案的概览,流程,最后描述下细节,对应操作的原因。
2.1 方案概览
a) 开启aws eks集群日志输出插件,采集标准输出。
(refs: https://docs.aws.amazon.com/zh_cn/eks/latest/userguide/fargate-logging.html)
b) 采集的数据回传到openSearch,并构建查询索引。
c) 使用kibana配合openSearch进行查询结果展示。
2.2 流程图
2.3 具体操作以及原因
2.3.1 日志采集
首先,由于aws上k8s服务的限制,(aws上的k8s服务为EKS,限制为:EKS无额外挂载实体机器,纯serverless fargate模式下,无法对Pod中的文件直接进行采集,只能采集Pod中的标准输出),所以需要一个地方将文件转为标准输出。
此处采取的是side-car思路,同一个Pod内开一个container用于把文件中的内容输出到标准输出。这样做的好处是,外挂一个container采集,侵入性是最小的,对原container的服务应用无论是服务本身,还是资源上都是没有额外影响。
其次,考虑到日志本身的维护,日志被回传回去以后,长时间的老旧日志无需一直存在Pod中,这样会把磁盘打爆,需要定期切割然后删除老旧日志。还是side-car思路,再开一个container,用于日志的切割,定期删除,做log rotate。
这样整体有3个container,1个跑业务应用,1个跑日志切分删除,1个跑文件转标准输出,对应具体 k8s yaml配置:
apiVersion: apps/v1
kind: Deployment
metadata:
name: sample-app
namespace: ${namespace}
labels:
app: sample-app
spec:
replicas: 1
selector:
matchLabels:
app: sample-app-pod
template:
metadata:
name: sample-app-pod
labels:
app: sample-app-pod
fargate: "yes"
annotations:
logs_enable: "true"
spec:
containers:
# container1: 业务程序
- name: nginx
image: nginx:latest
ports:
- name: http
containerPort: 80
env:
- name: LOG_DIR
value: /logs
volumeMounts:
- name: log-volume
mountPath: /logs
# container2: 日志切分,定期删除
- name: logrotate-es
image: blacklabelops/logrotate:1.3
imagePullPolicy: IfNotPresent
env:
- name: LOGS_DIRECTORIES
value: /logs/*.log
- name: LOGROTATE_COPIES
value: "5"
- name: LOGROTATE_SIZE
value: 50M
- name: LOGROTATE_CRONSCHEDULE
value: 0 0 0 * * *
- name: LOGROTATE_PARAMETERS
value: f
- name: LOGROTATE_DATEFORMAT
value: .%Y%m%d-%H:%M:%S
resources:
requests:
cpu: "1"
memory: 1Gi
volumeMounts:
- mountPath: /logs
name: log-volume
# container3: 日志文件转为标准输出
- name: fluent-bit
image: fluent/fluent-bit:latest
volumeMounts:
- name: log-volume
mountPath: /logs
command: [ "/fluent-bit/bin/fluent-bit" ]
args: [ "-i", "tail", "-p", "path=/logs/*.log", "-o", "stdout" ]
volumes:
- name: log-volume
emptyDir: {}
2.3.2 检索引擎
常见的检索引擎有elasticsearch 和 openSearch,而在aws上其包含cloudwatch 和 openSearch。这里选择开一个openSearch实例,作为检索引擎。
日志数据流入前,先创建下相关field的index索引,这样才能检索到相关field的内容。
2.3.3 检索展示
用了openSearch 配套搭配的 Kibana。这里当然也可以根据我们的使用场景,预置一些语句,比如根据服务名称或者标签,加filter,做一些group分组,debug某个服务,先进入到对应分组,然后再进一步进行检索。
(dql语句参考 :https://opensearch.org/docs/2.11/dashboards/dql)
最后让我们看下检索效果,我们检索一个加了索引的kubernetes.pod_name字段,检索查询词"nginx":
至此,参照着ELK流程,我们在aws上完成了业务日志的检索。
标签:aws,云服务,ELK,elasticsearch,open search,kibana