envoy 链路追踪-日志收集-网格安全

一 日志收集

https://github.com/iKubernetes/servicemesh_in_practise/tree/MageEdu_N66/Monitoring-and-Tracing #日志和链路追踪实例代码

1.1 accesslog-with-efk

环境描述

7个Service:
front-envoy：Front Proxy,地址为172.31.76.10
3个后端服务，仅是用于提供测试用的上游服务器
service_blue
service_red
service_green
三个日志服务
elasticsearch，地址为172.31.76.15，绑定宿主机的9200端口
kibana，地址为172.31.76.16，绑定宿主机的5601端口
filebeat

特殊要求

目录logs/envoy/下的日志文件front-envoy-access.log的属主需要修改为envoy容器中运行envoy进程的用户envoy，其UID和GID默认分别为100和101，否则，front-envoy进程将日志写入到该文件时，将显示为“Permission Denied.”
chown 100.101 logs/envoy/front-envoy-access.log

运行并测试
启动服务

docker-compose up

文本日志

先使用类似如下命令向Front-Envoy发起请求，以便持续生成访问日志；

while true; do curl 172.31.76.10/service/colors; sleep 0.$RANDOM; done

查看是否已经存在由filebeat生成的索引；

curl 172.31.76.15:9200/_cat/indices

命令返回的索引中包含类似如下内容，即表示filebeat已经生成相应的索引

访问kibanahttp://192.168.24.241:5601/

1.2 monitoring #监控

环境描述

10个Service:
front-envoy：Front Proxy,地址为172.31.70.10
6个后端服务
service_a_envoy和service_a：对应于Envoy中的service_a集群，会调用service_b和service_c；
service_b_envoy和service_b：对应于Envoy中的service_b集群；
service_c_envoy和service_c：对应于Envoy中的service_c集群；
1个statsd_exporter服务
1个prometheus服务
1个grafana服务

启动服务

docker-compose build
docker-compose up

访问测试

向Front-Envoy发起请求，下面的命令模拟间隔1秒之内的随机时长进行请求；

while true; do curl 172.31.70.10; sleep 0.$RANDOM; done

grafnan界面

1.3 monitoring-and-accesslog #监控和日志结合

环境描述

10个Service:
front-envoy：Front Proxy,地址为172.31.79.10
6个后端服务
service_a_envoy和service_a：对应于Envoy中的service_a集群，会调用service_b和service_c；
service_b_envoy和service_b：对应于Envoy中的service_b集群；
service_c_envoy和service_c：对应于Envoy中的service_c集群；
Prometheus指标监控相关的服务3个
statsd_exporter
prometheus
grafana
EFK日志相关的服务3个 
elaistchsearch
kibana
filebeat

特殊要求

目录logs/envoy/下的日志文件front-envoy-access.log的属主需要修改为envoy容器中运行envoy进程的用户envoy，其UID和GID默认分别为100和101，否则，front-envoy进程将日志写入到该文件时，将显示为“Permission Denied.”
chown 100.101 logs/envoy/*

启动服务

docker-compose build
docker-compose up

访问测试

向Front-Envoy发起请求，下面的命令模拟间隔1秒之内的随机时长进行请求；

while true; do curl 172.31.79.10; sleep 0.$RANDOM; done

查看promethes和grafna

查看kibana

查看es索引

二 链路追踪

2.1 zipkin-tracing-basics

服务描述：

Front-Proxy：前端代理，监听端口8000/tcp
2个后端服务
service1：接收Front-Envoy的请求，并会请求service2
service2：接收service1的请求
追踪服务zipkin，监听端口9411

启动服务

docker-compose build
docker-compose up

请求代理服务

curl -v 172.31.81.10:8000/trace/1

# 该命令会收到类似如下响应
*   Trying 172.31.81.10:8000...
* TCP_NODELAY set
* Connected to 172.31.81.10 (172.31.81.10) port 8000 (#0)
> GET /trace/1 HTTP/1.1
> Host: 172.31.81.10:8000
> User-Agent: curl/7.68.0
> Accept: */*
> 
* Mark bundle as not supporting multiuse
< HTTP/1.1 200 OK
< content-type: text/html; charset=utf-8
< content-length: 90
< server: envoy
< date: Wed, 03 Nov 2021 09:59:59 GMT
< x-envoy-upstream-service-time: 11
< x-b3-traceid: 103b7d704f28aafe
< x-request-id: 59960a6f-74fe-92f8-aba5-b4e7af7c249f
< 
Hello from behind Envoy (service 1)! hostname: 7ec5c840997d resolvedhostname: 172.31.81.2

可多次反复发起请求，以便于后面在UI中了解追踪的结果。
访问zipkin

2.2 zipkin-tracing

环境描述

8个Service:
front-envoy：Front Proxy,地址为172.31.85.10
6个后端服务
service_a_envoy和service_a：对应于Envoy中的service_a集群，会调用service_b和service_c；
service_b_envoy和service_b：对应于Envoy中的service_b集群；
service_c_envoy和service_c：对应于Envoy中的service_c集群；
zipkin：Zipkin服务

启动服务

docker-compose build
docker-compose up

访问测试

向Front-Envoy发起请求

curl -vv 172.31.85.10


* About to connect() to 172.31.85.10 port 80 (#0)
*   Trying 172.31.85.10...
* Connected to 172.31.85.10 (172.31.85.10) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 172.31.85.10
> Accept: */*
> 
< HTTP/1.1 200 OK
< date: Sat, 13 Aug 2022 08:40:02 GMT
< content-length: 85
< content-type: text/plain; charset=utf-8
< x-envoy-upstream-service-time: 4
< server: envoy
< x-b3-traceid: c86a1e9192a64f39
< x-request-id: fb84155c-65ae-933c-a15f-24b87179eb4f
< 
Calling Service B: Hello from service B.
Hello from service A.
Hello from service C.
* Connection #0 to host 172.31.85.10 left intact

2.3 jaeger-tracing

环境描述

8个Service:
front-envoy：Front Proxy,地址为172.31.88.10
6个后端服务
service_a_envoy和service_a：对应于Envoy中的service_a集群，会调用service_b和service_c；
service_b_envoy和service_b：对应于Envoy中的service_b集群；
service_c_envoy和service_c：对应于Envoy中的service_c集群；
zipkin：Jaeger all-in-one服务

启动服务

docker-compose build
docker-compose up

访问测试

向Front-Envoy发起一次请求

curl -vv 172.31.88.10

* About to connect() to 172.31.88.10 port 80 (#0)
*   Trying 172.31.88.10...
* Connected to 172.31.88.10 (172.31.88.10) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 172.31.88.10
> Accept: */*
> 
< HTTP/1.1 200 OK
< date: Sat, 13 Aug 2022 08:44:34 GMT
< content-length: 85
< content-type: text/plain; charset=utf-8
< x-envoy-upstream-service-time: 8
< server: envoy
< x-b3-traceid: 70948d1d41a58074
< x-request-id: a9858fbb-2e6c-9acb-957c-a276e9b1d7b3
< 
Calling Service B: Hello from service B.
Hello from service A.
Hello from service C.
* Connection #0 to host 172.31.88.10 left intact

Jaeger会记录到该请求相关的Trace。访问宿主机的16686端口，即可通过浏览器访问Jaeger UI。

三 安全

https://github.com/iKubernetes/servicemesh_in_practise/tree/MageEdu_N66/Envoy-TLS #实例

3.1 https-https-proxy

环境描述

五个Service:
envoy：Front Proxy,地址为172.31.8.2，监听于8443端口
webserver01：第一个后端服务
webserver01-sidecar：第一个后端服务的Sidecar Proxy,地址为172.31.8.11，监听于443端口
webserver02：第二个后端服务
webserver02-sidecar：第二个后端服务的Sidecar Proxy,地址为172.31.8.12, 监听于443端口

运行和测试

docker-compose up

测试
https请求测试

curl -k -v https://172.31.8.2:8443/

下面的命令输出示例，是因为我们在curl命令使用了-v选项所获取到的详细交互过程。

* About to connect() to 172.31.8.2 port 8443 (#0)
*   Trying 172.31.8.2...
* Connected to 172.31.8.2 (172.31.8.2) port 8443 (#0)
* Initializing NSS with certpath: sql:/etc/pki/nssdb
* skipping SSL peer certificate verification
* SSL connection using TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
* Server certificate:
*       subject: CN=www.magedu.com
*       start date: 5月 19 03:56:18 2021 GMT
*       expire date: 5月 17 03:56:18 2031 GMT
*       common name: www.magedu.com
*       issuer: CN=www.magedu.com
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 172.31.8.2:8443
> Accept: */*

请求访问admin interface
curl http://172.31.8.2:9901/