Kubernetes Ingress 日志分析与监控的最佳实践

Ingress 主要提供 HTTP 层（7 层）路由功能，是目前 K8s 中 HTTP/HTTPS 服务的主流暴露方式。为简化广大用户对于 Ingress 日志分析与监控的门槛，阿里云容器服务和日志服务将 Ingress 日志打通，只需要应用一个 yaml 资源即可完成日志采集、分析、可视化等一整套 Ingress 日志方案的部署。

前言

目前 Kubernetes（K8s）已经真正地占领了容器编排市场，是默认的云无关计算抽象，越来越多的企业开始将服务构建在K8s集群上。在 K8s 中，组件通过 Service 对外暴露服务，常见的包括 NodePort、LoadBalancer、Ingress 等。其中 Ingress 主要提供 HTTP 层（7 层）路由功能，相比 TCP（4 层）的负载均衡具备非常多的优势（路由规则更加灵活、支持金丝雀、蓝绿、A/B Test 发布模式、SSL 支持、日志、监控、支持自定义扩展等），是目前 K8s 中 HTTP/HTTPS 服务的主流暴露方式。

Ingress 简介

K8s 中 Ingress 只是一种 API 资源的声明，具体的实现需要安装对应的 Ingress Controller，由 Ingress Controller 接管 Ingress 定义，将流量转发到对应的 Service。目前 Ingress Controller 的实现有非常多种（具体可以参考 Ingress Controller官方文档），比较流行的有 Nginx、Traefik、Istio、Kong 等，在国内接受度最高的是 Nginx Ingress Controller。

日志与监控

日志和监控是所有 Ingress Controller 都会提供的基础功能，日志一般包括访问日志（Access Log）、控制日志（Controller Log）和错误日志（Error Log），监控主要从日志以及 Controller 中提取部分 Metric 信息。这些数据中访问日志的量级最大、信息最多、价值也最高，一般7层的访问日志包括：URL、源 IP、UserAgent、状态码、入流量、出流量、响应时间等，对于 Ingress Controller 这种转发型的日志，还包括转发的 Service 名、Service 响应时间等额外信息。从这些信息中，我们能够分析出非常多的信息，例如：

1. 网站访问的 PV、UV；
2. 访问的地域分布、设备端分布；
3. 网站访问的错误比例；
4. 后端服务的响应延迟；
5. 不同 URL 访问分布。

我们的开发、运维、运营、安全等人员可以基于这些信息完成各自的需求，例如：

1. 新老版本发布前后的数据指标对比；
2. 网站质量监控、集群状态监控；
3. 恶意攻击检测、反作弊；
4. 网站访问量统计、广告转化率统计。

然而手动搭建、运维一整套的 Ingress 日志分析与监控系统非常复杂，系统所需要的模块有：

1. 部署日志采集 Agent 并配置采集、解析规则；
2. 由于 K8s 集群中，访问量相对较大，因此需要搭建一个缓冲队列，例如 Redis、Kafka 等；
3. 部署实时数据分析引擎，例如 Elastic Search、clickhouse 等；
4. 部署可视化组件并搭建报表，例如 grafana、kibana 等；
5. 部署告警模块并配置告警规则，例如 ElastAlert、alertmanager 等。
   

阿里云日志服务Ingress解决方案

为简化广大用户对于 Ingress 日志分析与监控的门槛，阿里云容器服务和日志服务将 Ingress 日志打通（官方文档https://help.aliyun.com/document_detail/86532.html[](https://help.aliyun.com/document_detail/86532.html)），只需要应用一个 yaml 资源即可完成日志采集、分析、可视化等一整套 Ingress 日志方案的部署。

Ingress 可视化分析

日志服务默认为 Ingress 创建 5 个报表，分别是：Ingress 概览、Ingress 访问中心、Ingress 监控中心、Ingress 蓝绿发布监控中心、Ingress 异常检测中心。不同角色的人员可根据需求使用不同的报表，同时每个报表均提供筛选框用于筛选特定的 Service、URL、状态码等。所有的报表均基于日志服务提供的基础可视化组件实现，可根据公司实际场景进行定制化调整。

Ingress 概览

Ingress 概览报表主要展示当前 Ingress 的整体状态，主要包括以下几类信息：

1. 整体架构状态（1 天），包括：PV、UV、流量、响应延迟、移动端占比、错误比例等；
2. 网站实时状态（1 分钟），包括：PV、UV、成功率、5XX 比例、平均延迟、P95/P99 延迟等；
3. 用户请求类信息（1 天），包括：1天/7天访问PV对比、访问地域分布、TOP访问省份/城市、移动端占比、Android/IOS 占比等；
4. TOPURL 统计（1 小时），包括：访问 TOP10、延迟 TOP10、5XX 错误 TOP10、404 错误 TOP10。

Ingress 访问中心

Ingress 访问中心主要侧重于用于访问请求相关的统计信息，一般用于运营分析，包括：当日 UV/PV、UV/PV 分布、UV/PV 趋势、TOP 访问省份/城市、TOP 访问浏览器、TOP 访问IP、移动端占比、Android/IOS 占比等。

Ingress 监控中心

Ingress 监控中心主要侧重于网站实时监控数据，一般用于实时监控与告警，包括：请求成功率、错误比例、5XX 比例、请求未转发比例、平均延迟、P95/P99/P9999 延迟、状态码分布、Ingress 压力分布、Service 访问 TOP10、Service 错误 TOP10、Service 延迟 TOP10、Service 流量 TOP10 等。

Ingress 蓝绿发布监控中心

Ingress 蓝绿发布监控中心主要用于版本发布时的实时监控与对比（版本前后对比以及蓝绿版本当前对比），以便在服务发布时快速检测异常并进行回滚。在该报表中需要选择进行对比的蓝绿版本（ServiceA 和 ServiceB），报表将根据选择动态显示蓝绿版本相关指标，包括：PV、5XX 比例、成功率、平均延迟、P95/P99/P9999 延迟、流量等。

Ingress 异常检测中心

Ingress 异常检测中心基于日志服务提供的机器学习算法，通过多种时序分析算法从 Ingress 的指标中自动检测异常点，提高问题发现的效率。

实时监控与告警

Ingress 作为 K8s 网站请求的主要入口，实时监控与告警是必不可少的 Ops 手段之一。在日志服务上，基于上述的报表，只需 3 个简单的步骤即可完成告警的创建。下述示例为 Ingress 配置 5XX 比例的告警，告警每 5 分钟执行一次，当 5XX 比例超过 1% 时触发。

除了通用的告警功能外，日志服务还额外支持：

1. 多维度数据关联，即通过多组 SQL 结果交叉判断进行告警，增加告警准确度；
2. 除支持短信、语音、通知中心、email 外，还支持钉钉机器人通知、自定义 WebHook 扩展；
3. 告警的记录也以日志的形式记录，可以实现对告警失败进行告警的双保险。
   

订阅报告

日志服务除支持通过告警方式通知外，还支持报表订阅功能，可使用该功能将报表定期渲染成图片并通过邮件、钉钉群等方式发送。例如每天早上 10 点向运营群中发送昨日网站访问情况、每周发送报告到邮件组中存档、新版本发布时每 5 分钟发送一次监控报表...

自定义分析

如果容器服务 Kubernetes 版提供的默认报表无法满足你的分析需求，可以直接使用日志服务 SQL、仪表盘等功能进行自定义的分析和可视化。

尝鲜

为了让大家可以体验 Kubernetes 审计日志功能，我们特别开通了体验中心，大家可以通过 https://promotion.aliyun.com/ntms/act/logdoclist.html 进入，该页面提供了非常多和  Kubernetes相关的报表。

参考文档

[1]https://www.aliyun.com/product/sls

[2]https://www.aliyun.com/product/kubernetes

[3]https://help.aliyun.com/document_detail/86532.html

[4]https://help.aliyun.com/document_detail/48162.html

[5]https://help.aliyun.com/document_detail/107758.html

[6]https://kubernetes.io/docs/concepts/services-networking/ingress/

[7]https://kubernetes.io/docs/concepts/services-networking/ingress-controllers/