skywalking使用ES做存储在K8S上的部署，使用实践_skywalking sw_storage_es_cluster_nodes

最新推荐文章于 2024-09-12 08:10:18 发布
最新推荐文章于 2024-09-12 08:10:18 发布
阅读量1.4k 收藏 31
点赞数 20
分类专栏： 程序员 文章标签： skywalking elasticsearch kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166567/article/details/137714222
版权

要点说明

  • 与之前一样，为了便于自动部署，我使用jenkions做了文件存储，基于jenkins的账号验证提供初级的文件安全保证，使用initContainers在启动容器前，下载所需的证书，通过配置ENV给容器获取账号、密码，此外还增加禁止下载的ENV变量，以便于在特殊情况下屏蔽下载(比如jenkins 宕机了)；
  • 完整版的skywalking配置文件太长了，这里我用了几个主要的环境变量做了配置，环境变量完整支持官方文档在这里，可以根据实际需要进行参考配置skywalking-oap server 环境变量支持
  • 环境变量使用说明，如何生成jks证书下面会说
 - name: SW_STORAGE #声明使用ES做存储
  value: "elasticsearch"
 - name: SW_NAMESPACE #skywalking 使用的ES索引前缀配置
  value: "skywalking-log"
 - name: SW_STORAGE_ES_CLUSTER_NODES #集群连接地址
  value: "es-01-svc.es:9200"
 - name: SW_STORAGE_ES_HTTP_PROTOCOL #集群连接协议，简单点直接用http也不是不行
  value: "https"
 - name: SW_ES_USER #连接ES集群用户
  value: "elastic" 
 - name: SW_ES_PASSWORD #连接ES集群用户密码
  value: "password"
 - name: SW_STORAGE_ES_SSL_JKS_PATH #ssl协议证书存储位置
  value: "/local-certs/es01\_http.jks"
 - name: SW_STORAGE_ES_SSL_JKS_PASS #ssl协议证书密码
  value: "jks密码"
 - name: "SW\_STORAGE\_ES\_SUPER\_DATASET\_INDEX\_SHARDS\_FACTOR" #skywalking 索引分片数 默认5
  value: "1"
 - name: SW_CORE_RECORD_DATA_TTL  #skywalking 明细数据存储时长，单位：天，默认3
  value: "14"
 - name: SW_CORE_METRICS_DATA_TTL #skywalking 统计数据存储时长，单位：天，默认7
  value: "30"


apiVersion: apps/v1
kind: StatefulSet # Deployment | StatefulSet | DaemonSet | JobSet
metadata: 
  name:   skywalking-oap
  namespace:  devops-tools
spec: 
  replicas: 1  #运行副本数
  selector: 
    matchLabels: 
      k8s-app:  skywalking-oap #与下方template节点中的 labels 保持一致
  revisionHistoryLimit: 10 #设定保留最近的几个revision 用于回滚，默认10
  updateStrategy: #更新策略 [Statefulset]
  #strategy: #更新策略 [Deployment]
    type: RollingUpdate # RollingUpdate (滚动更新) | OnDelete (删除时更新)
    rollingUpdate:
      partition: 0 #[Statefulset] 灰度发布控制器，每次只更新部署的pod序号 >= partition的pod，如果有5个pod[0-4]，0=更新所有,4=更新1pod,3=更新2pod
  persistentVolumeClaimRetentionPolicy: # Retain | Delete
    whenDeleted: Delete
    whenScaled: Retain
  volumeClaimTemplates:     #statefulset 专属动态创建pod的存储
  - metadata:    
      name: skywalking-oap-volume
    spec:
      storageClassName: "local-path" ## 基于PV的动态创建
      accessModes:
      - ReadWriteOnce
      resources:
        requests:
          storage: 10Gi
  template: 
    metadata: 
      labels: 
         k8s-app: skywalking-oap
      annotations:
        #"cni.projectcalico.org/ipAddrs": "[\"10.244.220.10\"]" #pod绑定固定ip，依赖于calico ipam插件，必须使用calico 3.24.1以上的版本才可以
    spec: 
      restartPolicy: Always 
      terminationGracePeriodSeconds: 30 #容器被删除变为Terminating状态的等待时间，默认是30s，以便于做一些容器删除前的处理工作
      initContainers:
       - name: init-skywalking-oap
         image: apache/skywalking-oap-server:latest
         #securityContext:
         # runAsUser: 0 #由于需要更改挂在目录的归属用户，需要以root运行 
         command: 
         - "bash" 
         - "-c"
         # 可执行多行命令 
         - > 
           echo $DOWN\_LOAD\_URLS;
           IFS=',' read -r -a my_array <<< "$DOWN\_LOAD\_URLS";
           for URL in "${my\_array[@]}"; do
               echo 'URL:'$URL;
               FILE=$(echo $URL | awk -F '/' '{print $NF}');
               SAVE\_PATH='/local-certs';
               
               if [ ! -f $SAVE\_PATH"/"$FILE ] || [ "$DOWN\_LOAD" = "true" ];then
                   res\_status=$(curl -u $DOWNLOAD\_ACCESS\_USER:$DOWNLOAD\_ACCESS\_PASS -I -m 10 -o /dev/null -s -w %{http\_code} $URL);
                   echo 'res\_status: ' $res\_status;
                   if [ "$res\_status" != "200" ];then
                     echo "===================== "$FILE"不可下载 =======================";
                   else
                     echo "===================== "$FILE"可下载，执行下载 =======================";
                     cd $SAVE\_PATH;
                     curl -u $DOWNLOAD\_ACCESS\_USER:$DOWNLOAD\_ACCESS\_PASS $URL -O;
                     ls $SAVE\_PATH;
                   fi
               else
                       echo "===================== "$FILE"已存在 或 ENV:DOWN\_LOAD=false =======================";
               fi
           done
      
         env:   #环境变量配置
         - name: DOWN_LOAD
           value: "true"
         - name: "DOWN\_LOAD\_URLS"
           value: "http://xxxxx/xxx/es01\_http.jks" #jks证书下载url
         - name: DOWNLOAD_ACCESS_USER 
           value: "http auth 用户名"
         - name: DOWNLOAD_ACCESS_PASS
           value: "http auth 密码"
         - name: POD_NAME
           valueFrom: 
             fieldRef: 
               apiVersion: v1
               fieldPath: metadata.name
         volumeMounts: 
         - name: skywalking-oap-volume  #挂载存储目录
           mountPath: /local-certs
           subPath: local-certs
         
      containers:  
        - name: skywalking-oap
          image: apache/skywalking-oap-server:latest
          imagePullPolicy: IfNotPresent # IfNotPresent | Always | Never
          resources:
            requests:
              memory: "2000Mi" #Gi=G Mi=M 只支持整数
              cpu: "500m" #1000m=1cpu (cpu物理线程)
            limits:
              memory: "2200Mi" #Gi=G Mi=M 只支持整数
              cpu: "1000m"  #1000m=1cpu (cpu物理线程)
          ports: 
          - containerPort: 11800
            protocol: TCP
          - containerPort: 12800
            protocol: TCP
          - | 
            docker-entrypoint.sh;
            sleep 3600;

          env:   #环境变量配置
          - name: SW_STORAGE
            value: "elasticsearch"
          - name: SW_NAMESPACE
            value: "skywalking-log"
          - name: SW_STORAGE_ES_CLUSTER_NODES
            value: "es-01-svc.es:9200"
          - name: SW_STORAGE_ES_HTTP_PROTOCOL
            value: "https"
          - name: SW_ES_USER
            value: "elastic"
          - name: SW_ES_PASSWORD
            value: "1q2w3e4r"
          - name: SW_STORAGE_ES_SSL_JKS_PATH
            value: "/local-certs/es01\_http.jks"
          - name: SW_STORAGE_ES_SSL_JKS_PASS
            value: "1q2w3e"
          #es index 分片数 默认5
          - name: "SW\_STORAGE\_ES\_SUPER\_DATASET\_INDEX\_SHARDS\_FACTOR"
            value: "1"
          - name: SW_CORE_RECORD_DATA_TTL
            value: "14"
          - name: SW_CORE_METRICS_DATA_TTL	
            value: "30"
          - name: POD_NAME
            valueFrom: 
              fieldRef: 
                apiVersion: v1
                fieldPath: metadata.name
          - name: POD_IP
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
          volumeMounts: 
          - name: skywalking-oap-volume    #挂载部署目录
            mountPath: /skywalking/data
            subPath: data
          - name: skywalking-oap-volume  #挂载部署目录
            mountPath: /skywalking/logs
            subPath: logs
          - name: skywalking-oap-volume  #挂载存储目录
            mountPath: /local-certs
            subPath: local-certs
          - name: skywalking-oap-config  #挂载配置文件
            mountPath: /config
          - name: host-time  #挂载本地时区
            mountPath: /etc/localtime
            readOnly: true
      volumes: 
      - name: host-time
        hostPath: #挂载本地时区
          path: /etc/localtime
          type: ""

生成JKS证书

登录到要连接的ES集群的任意节点上，使用ES集群的http.p12证书进行生成
注意

  • http.p12证书如果有密码的话，需要在-srcstorepass “$http12证书密码"参数中设定，没有也要设为”"，不能少参数
  • -storepass "jks证书密码"这个密码必须有，哪怕http.p12没有密码，这个证书也要设置至少6位的密码
/usr/share/elasticsearch/jdk/bin/keytool   -importkeystore -destkeystore ./es_http.jks -deststoretype JKS  -srckeystore /usr/share/elasticsearch/config/local-certs/http.p12 -srcstoretype PKCS12 -storepass "jks证书密码" -srcstorepass "$http12证书密码"

这样skywalking-oap server就部署好了。

skywalking-ui

接下来是skywalking-ui，这个更简单，只要设定好要连接的skywalking-oap server的地址就行了，yml部署文件如下

# api service

apiVersion: v1
kind: Service
metadata:
  name: skywalking-ui-svc
  namespace:  devops-tools
  annotations: 
    desc : skywalking-ui服务访问入口
spec:
  selector:
    k8s-app:  skywalking-ui
  type: ClusterIP   #type: ClusterIP【默认】 | NodePort | LoadBalancer(外部负载均衡) | ExternalName (外部DNS解析)
  clusterIP: 10.106.160.106
  ports:
  - port: 80
    targetPort: 8080
    name: http

---

apiVersion: apps/v1
kind: StatefulSet # Deployment | StatefulSet | DaemonSet | JobSet
metadata: 
  name:   skywalking-ui
  namespace:  devops-tools
spec: 
  replicas: 1  #运行副本数
  selector: 
    matchLabels: 
      k8s-app: skywalking-ui #与下方template节点中的 labels 保持一致
  revisionHistoryLimit: 10 #设定保留最近的几个revision 用于回滚，默认10
  #serviceName: "nginx-headless" #设置绑定的service，以支持内部dns访问 <pod-name>.<svc-name>.<namespace>.svc.cluster.local
  updateStrategy: #更新策略 [Statefulset]
  #strategy: #更新策略 [Deployment]
    type: RollingUpdate # RollingUpdate (滚动更新) | OnDelete (删除时更新)
    rollingUpdate:
      #maxSurge: 1 #[Deployment]支持-升级过程中可以启动超过原先设置的POD数量的上限：数量 或 百分比 1 | 20%
      #maxUnavailable: 1 #[Deployment]支持-升级过程中无法提供服务的POD数量的上限：数量 或 百分比 1 | 20%，最好与maxSurge保持一致，这样能确保更新过程中的服务能力不会下降
      partition: 0 #[Statefulset] 灰度发布控制器，每次只更新部署的pod序号 >= partition的pod，如果有5个pod[0-4]，0=更新所有,4=更新1pod,3=更新2pod
  persistentVolumeClaimRetentionPolicy: # Retain | Delete
    whenDeleted: Delete
    whenScaled: Retain
  volumeClaimTemplates:     #statefulset 专属动态创建pod的存储
  - metadata:    
      name: skywalking-ui-volume
    spec:
      storageClassName: "local-path" ## 基于PV的动态创建
      accessModes:
      - ReadWriteOnce
      resources:
        requests:
          storage: 10Gi
  template: 
    metadata: 
      labels: 
         k8s-app: skywalking-ui
      annotations:
        #"cni.projectcalico.org/ipAddrs": "[\"10.244.220.10\"]" #pod绑定固定ip，依赖于calico ipam插件，必须使用calico 3.24.1以上的版本才可以
    spec: 
      restartPolicy: Always 
      terminationGracePeriodSeconds: 30 #容器被删除变为Terminating状态的等待时间，默认是30s，以便于做一些容器删除前的处理工作
       containers:  
        - name: skywalking-ui
          image: apache/skywalking-ui
          imagePullPolicy: IfNotPresent # IfNotPresent | Always | Never
          #securityContext: ##开启特权，因为要调整系统内核
          # privileged: true
          resources:
            requests:
              memory: "256Mi" #Gi=G Mi=M 只支持整数
              cpu: "250m" #1000m=1cpu (cpu物理线程)
            limits:
              memory: "512Mi" #Gi=G Mi=M 只支持整数
              cpu: "500m"  #1000m=1cpu (cpu物理线程)
          #securityContext: ###添加参数启用容器root权限
          # privileged: true
          ports: 
          - containerPort: 8080
            protocol: TCP
          env:  
          - name: SW_OAP_ADDRESS #设定好slkywalking-oap server的地址
            value: http://skywalking-oap-svc:12800
          - name: POD_NAME
            valueFrom: 
              fieldRef: 
                apiVersion: v1
                fieldPath: metadata.name
          - name: POD_IP
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
          volumeMounts: 
          - name: skywalking-ui-volume    #挂载部署目录
            mountPath: /skywalking-ui/data
            subPath: data
          - name: skywalking-ui-volume  #挂载部署目录
            mountPath: /skywalking-ui/logs
            subPath: logs
          - name: host-time  #挂载本地时区
            mountPath: /etc/localtime
            readOnly: true
      volumes: 
      - name: host-time
        hostPath: #挂载本地时区
          path: /etc/localtime
          type: ""

skywalking-agent部署

这里一般有2种方式
1.通过init-containers将agent文件部署到容器内，同时在应用启动脚本中添加java-agent JVM参数来实现；
2.将agent文件放置到应用项目中，同时在应用启动脚本中添加java-agent JVM参数来实现

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
img

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

WQbflp-1712988113683)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-p3oWdoJc-1712988113683)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84166567
关注
专栏目录
K8S部署Skywalking
qq_45455361的博客
01-17 2078
步骤 下载aop镜像 https://hub.docker.com/r/apache/skywalking-oap-server 下载ui镜像 https://hub.docker.com/r/apache/skywalking-ui OAP部署 service： apiVersion: v1 kind: Service metadata: name: oap namespace: skywalking-test labels: service: oap spec: ports:
k8s部署Skywalking及java接入agent
weixin_43110668的博客
11-10 1230
自己的练习
k8s部署es和skywalking
认知 行动 坚持
11-30 1515
上部分Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。而我们目前采用的是，SkyWalking Agent 收集 SkyWalking Tracing 数据，传递给服务器下部分。
Apache SkyWalking Kubernetes 部署指南
最新发布
gitblog_00891的博客
09-12 295
Apache SkyWalking Kubernetes 部署指南 skywalking-kubernetes 项目地址: https://gitcode.com/gh_mirrors/sk/skywalking-kuberne...
在K8S集群中部署SkyWalking
mkii_hong的博客
03-05 2453
咦，好像可以看到服务的各项指标，像SLA，Apdex这些，主要是能够进行请求的链路追踪，bug排查的利器。底层的存储组件使用 单节点ES，存储卷我用的是hdd的，因为是测试的，就省着用。对性能有要求的同学可以使用多节点，挂载SSD类型的磁盘。这样配置之后，启动 deployment 时，会先初始化一个 initContainer，然后在启动核心的 container pod。注意调整这两个参数，SW_CORE_RECORD_DATA_TTL和SW_CORE_METRICS_DATA_TTL。
k8s部署skywalking
青春不流名
09-01 2352
部署skywalking
k8s 部署 skywalking 并持久化到es
方圆师兄
03-11 5837
在上边的镜像中 将skywalking-agent.jar 拷贝到镜像里，这一步可以使用pv挂载，另外也可以将skywalking-agent用initc来做链路追踪。
Skywalking_k8s集群的Jvm监控
Daniel_D的博客
09-16 5307
这里是不需要存在的目录Skywalking针对jvm监控无入侵-k8s集群介绍server部署busyboxelasticsearchoapuiingressagent部署docker镜像制作agent嵌入总结 Skywalking针对jvm监控无入侵-k8s集群 介绍 咱中国人自己写的一个APM开源项目，成功被Apache认可进行孵化，具体的看Git吧。 git地址： https://githu...
skywalking使用方法_【弄nèng - Skywalking】入门篇（一）—— Skywalking安装与使用
weixin_39780255的博客
01-14 698
文章目录一. 简介二. Skywalking架构三. 安装OAP3.1 前置3.2 下载3.3 修改配置application.yml3.4 webapp配置3.5 启动四. 使用Agent4.1 修改配置4.2 启动工程接入Agent项目推荐该篇博客是Skywalking的安装使用官方文档：https://github.com/apache/skywalking/tree/master/docs...
SkyWalking全链路监控部署及使用分享
weixin_43805705的博客
01-19 3147
SkyWalking是一款开源的应用性能监控系统，对比阿里云ARMS，可以对应用进行全方位监控，帮助研发人员快速定位出错接口、慢接口、重现调用参数、发现系统瓶颈，从而大幅提升线上问题诊断的效率，本文向大家介绍了Skywalking的相关部署及使用方法，能够帮助大家快速熟悉并接入Skywalking监控平台。
k8s上运行我们的springboot服务之——skywalking监控我们的springboot
weiranaixi的博客
01-12 1115
k8s上运行我们的springboot服务之——skywalking监控我们的springboot整体思路安装elasticsearch7安装skywalking下载配置skywalking启动skywalking加到开机启动通过浏览器访问：打包agent的镜像服务启动yaml原yaml新yaml通过虚拟域名直接访问springboot pom配置详细代码参考 整体思路 在k8s中运行的springboot项目通过skywalking来作为链路追踪中间件。springboot 项目启动时结合skywalki
K8S部署skywalking
运维@小兵的博客
10-17 4672
文章目录一、安装K8S集群kubeadm部署K8s集群V1.19.0二、部署skywalking`2.1.创建命名空间``2.2.给节点打标签``2.3.skywalking-oap.yml``2.4.skywalking-ui.yml``2.5.访问`三、sidecar 模式挂载 agent四、微服务对接skywalking 一、安装K8S集群 kubeadm部署K8s集群V1.19.0 二、部署skywalking 2.1.创建命名空间 kubectl create ns skywalking 2
K8S 部署 skywalking
weixin_42555971的博客
06-17 5225
skywalking
k8s部署skywalking(helm)
罗伯特是疯子丶
05-06 2205
k8s部署skywalking以及期间的踩坑点
K8S实践从0到1 中间件篇：skywalking使用ES做存储在K8S上的部署，使用实践
fireshark
03-23 1551
k8s 部署 skywalking-oap server并使用ES做存储通过SSL与ES集群通信 ，使用skywalking-ui做看板，java应用接入示例
项目集成SkyWalking，基于k8s搭建
qq_41349888的博客
05-23 1311
可选节点，控制保留的归档文件的最大数量，超出数量就删除旧文件假设设置每个月滚动，且是6， 则只保存最近6个月的文件，删除之前的旧文件。-- 以下 每个配置的 filter 是过滤掉输出文件里面，会出现高级别文件，依然出现低级别的日志信息，通过filter 过滤只记录本级别的日志 -->--日志发送到logstash=>elasticSearch=>kibana start-->-- 日志输出规则 根据当前ROOT 级别，日志输出时，级别高于root默认的级别时 会输出 -->
Apache SkyWalking 监控 Linux 实战_skywalking监控服务器内存、cpu使用情况(1)
2401_83944560的博客
04-17 841
16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义？7、Tomcat和Resin有什么区别，工作中你怎么选择?3、现在给你三百台服务器，你怎么对他们进行管理?15、讲述一下LVS三种模式的工作过程?
SkyWalking部署-K8S
zhangjunli的博客
01-02 1304
一、安装K8S集群kubeadm部署K8s集群V1.19.0二、部署skywalking2.1.创建命名空间2.2.给节点打标签。
全网最新 Skywalking 6.1.0部署进kubernetes(k8s) 包含springcloud测试用例
贺爷演示技术流
05-14 6520
skywalking-kubernetes 轻松将skywalking 6.0部署进kubernetes(k8s) 完整ui oap es模块 可以基于k8s快速构建起一个完整本地skywalking本地测试开发环境 适用范围 我弄这个主要是为了本地测试k8s 搭建skywalking 学习了解之后逐步迁移到生产环境 但是skywalking官方apache/skywalking-kubernet...
skywalking mysql配置_SkyWalking 后端服务存储配置
weixin_33268725的博客
01-27 1041
版本：7.0.0描述采集的数据需要存储，提供给相关人员查看系统调用链路信息，因此需要配置存储项。一般在本地尝鲜可以使用默认的h2数据库。可以很快的部署SkyWalking服务，体验相关功能。开发环境可以使用MySQL数据库。测试和生产环境建议使用elasticsearch。配置在application.yml里面，配置storage模块。具体配置项如下：selector：存储选择器elastics...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值