mysql8.0 生产环境配置_kubernetes生产环境应用skywalking探针到apollo配置中心

目录

(1).前置阅读

(2).前置说明

(3).基础镜像

1.oraclejdk-docker-image

2.oraclejdk-skywalking-docker-image

3.apollo-skywalking-pro镜像

(4).apollo&skywalking生产级容器化

(5).关键配置

(6).特别注意

1.sk-agent和sky-oap一定要配置正确的时区

2.sk-oap的elasticsearch版本选择

3.制作apollo-skywalking-docker-image镜像注意sk-plugin选择

4.apollo-portal开启多副本要注意配置session亲和性

5.使用oraclejdk

6.修改支持的环境

(7).相关文章

(1).前置阅读

1.kubernetes&微服务-6：skywalking6.4生产容器化

2.阿里云&kubernetes&微服务生产实践-2：apollo架构-1

(2).前置说明

本例相对于官方做了如下几处改动：

1.修改基础镜像为oracle-jdk，并增加redis-cli, telnet等常用工具包。

2.基础镜像增加skywalking-agent的支持，通过configmap中的配置参数来决定在启动apollo服务的时候是否开启链路追踪。

(3).基础镜像

1.oraclejdk-docker-image

第一层基础镜像。

使用oraclejdk8制作的镜像，包含telnet, redis-cli, mysql-client等工具包。

地址： https://github.com/hepyu/oraclejdk-docker-image

2.oraclejdk-skywalking-docker-image

第二层镜像，基于oraclejdk-docker-image镜像。

加入了skywalking-agent支持。

地址： https://github.com/hepyu/oraclejdk-skywalking-docker-image

3.apollo-skywalking-pro镜像

基于镜像oraclejdk-skywalking-docker-image制作。

(4).apollo&skywalking生产级容器化

笔者提供生产级的配置文件，位于：

https://github.com/hepyu/k8s-app-config/tree/master/product/standard/apollo-skywalking-pro

注意本例配置中pv默认是本地存储，生产环境需要改为云存储。

顺次执行：

kubectl apply -f apollo-namespace.yamlcd apollo-configservicekubectl apply -f .cd apollo-adminservicekubectl apply -f .cd apollo-portalkubectl apply -f .

最终的生产效果：

原图文件位于：

https://github.com/hepyu/k8s-app-config/blob/master/product/standard/apollo-skywalking-pro/images/apollo-skywalking.png

(5).关键配置

skywalking的关键配置位于config/admin/portal下的config.yaml文件，通过环境变量SKYWALKING_AGENT来配置是否开启skywalking-agent探针；当然也可以在这里调整JVM启动参数。

当配置如下时表示关闭skywalking-agent探针： SKYWALKING_AGENT: ''

SERVICE_NAME: apollo-configserviceAPOLLO_CONFIG_SERVICE_NAME: apollo-configserviceLOG_DIR: /opt/logs/apollo-config-serverSERVER_PORT: '8080'SERVER_URL: http://$APOLLO_CONFIG_SERVICE_NAME:$SERVER_PORTTIME_ZONE: Asia/ShanghaiSKYWALKING_AGENT: '-javaagent:/app/3rd/skywalking-agent/skywalking-agent.jar=agent.service_name=apollo-configservice-k8s,collector.backend_service=skywalking-c0-oap.skywalking:11800'#SKYWALKING_AGENT: ''JAVA_OPTS: >--Xms1024m -Xmx1024m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=256m -XX:NewSize=512m -XX:MaxNewSize=512m -XX:SurvivorRatio=8-server -XX:-ReduceInitialCardMarks-XX:ParallelGCThreads=4 -XX:MaxTenuringThreshold=9 -XX:+DisableExplicitGC -XX:+ScavengeBeforeFullGC -XX:SoftRefLRUPolicyMSPerMB=0-XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:-OmitStackTraceInFastThrow-Duser.timezone=$TIME_ZONE -Dclient.encoding.override=UTF-8 -Dfile.encoding=UTF-8-Djava.security.egd=file:/dev/./urandom-Dserver.port=$SERVER_PORT -Dlogging.file=$LOG_DIR/$SERVICE_NAME.log -XX:HeapDumpPath=$LOG_DIR/$SKYWALKING_AGENTapplication-github.properties: |spring.datasource.url=jdbc:mysql://mysql-min.mysql-min:3306/DevApolloConfigDB?characterEncoding=utf8spring.datasource.username=apollospring.datasource.password=adminspring.jpa.database-platform=org.hibernate.dialect.MySQL5Dialecteureka.service.url=http://apollo-configservice/eureka/

(6).特别注意

1.sk-agent和sky-oap一定要配置正确的时区

都要配置: TIME_ZONE: Asia/Shanghai

因为skywalking的默认时区是UTC0，大陆的APP的服务的时区是UTC8，如果sk-agent和sk-oap的时区不一致时，sk-ui不会显示数据/拓扑。

2.sk-oap的elasticsearch版本选择

尽量选择sk使用的版本，比如sk6.4.0用的是es6.3.2那我们搭建es时就要选择这个版本。避免es版本差异带来的各种奇怪问题。

3.制作apollo-skywalking-docker-image镜像注意sk-plugin选择

参照官方/社区的issue：https://github.com/ctripcorp/apollo/issues/2448

我们的目的是：

a. 监控Apollo-Config、Admin、Portal之间的调用以及拓扑

b. 监控Apollo-Client 与 Config之间的调用及拓扑

第一种情况：Portal与Config/Admin之间采用RestTemplate/HttpClient 发起调用，这个插件在Skywalking支持列表。

第二种情况，Apollo-Client 采用的是 HttpURLConnection 发起Http请求。和 HttpClient 有些区别，默认插件不支持。需要使用可选插件：bootstrap-plugins/apm-jdk-http-plugin-6.4.0.jar，将这个jar包拷贝到plugins目录下。

4.apollo-portal开启多副本要注意配置session亲和性

config/admin/portal的负载均衡都需要配置：sessionAffinity: ClientIP；

如果你还是用的ingress代理apollo-portal，那么ingress也需要配置亲和性保证session的正确传递：

nginx.ingress.kubernetes.io/affinity: cookie

ingress的亲和性配置参见文件：

https://github.com/hepyu/k8s-app-config/blob/master/product/standard/apollo-pro/apollo-portal/apollo-portal-ingress.yaml

如果不配置亲和性，apollo-portal开启多副本后将出现无法登陆的现象。

5.使用oraclejdk

因为apollo官方的镜像里没有调试工具，如jstat等，很不方便。

6.修改支持的环境

在apolloPortalDB的ServerConfig表中存放了支持的环境：pro,uat,fat,dev，如果只配置了pro，需要把其余的3个删除，否则portal会一直报错：

''' Env is down. env: UAT, failed times: 39, meta server address: http://apollo.meta '''

(7).相关文章

1.官方地址容器化配置地址：

https://github.com/ctripcorp/apollo/tree/master/scripts/apollo-on-kubernetes/kubernetes

2.官方apollo容器化步骤(Step by Step):

https://github.com/ctripcorp/apollo/blob/master/scripts/apollo-on-kubernetes/README.md

3.笔者apollo容器化步骤(Step by Step):

kubernetes-6：apollo配置中心容器化

相对于官方文档增加了镜像仓库推送/db初始化的更加详细的操作，根据笔者的习惯整理了步骤，同时也作为笔者自己的笔记/备份