Kubernetes api-server源码阅读1（源码环境安装篇）

云原生学习路线导航页（持续更新中）

本文是 Kubernetes api-server源码阅读 系列第一篇，主要讲述如何进行kubernetes源码阅读环境的搭建

• 参考b站视频地址：Kubernetes源码开发之旅一
• 视频涉及到的一些脚本：https://github.com/JackyZhangFuDan/K8sSourceCodeDeepDive/blob/main/k2-1-script-of-k8s-devenv-setup.md

1.准备环境

1.1.搭建目标

• Debug Kubernetes源码
• 开发组件，贡献源码
• 做扩展开发
• 实验Kubernetes功能
  • 我们使用的环境：Kubernetes版本 1.24.0
  • kubernetes各组件版本依赖关系，在源码中有：https://github.com/kubernetes/kubernetes/blob/v1.24.0/build/dependencies.yaml

2.安装工具包

• 需要安装8大工具
• 参考文档：https://github.com/kubernetes/community/blob/master/contributors/devel/running-locally.md
• 我下面会提供每个工具的安装过程
  

2.1.安装虚拟机

2.1.1.安装Ubuntu虚拟机

• Ubuntu下载地址：
  • https://ubuntu.com/download/alternative-downloads
  • 镜像比较大，资源里我放了种子，如果下不了，直接给我留言，我发给大家
• 如果安装完发现虚拟机屏幕太小，可以安装或重新安装VM Tools
  • 参考文章
• 本地ssh连接ubuntu，发现22端口拒绝访问
  • 参考文章
• 现在用的是普通用户登陆，root密码每一次开机都会刷新，我们现在修改root密码，以后用root操作
  • 参考文章
  • 改完root密码后，发现想要使用root远程连接又失败了
  • 先安装vim：apt-get install vim
  • 然后修改一个配置文件：https://blog.csdn.net/testcs_dn/article/details/69498797
  • 这样就可以使用xshell等远程连接工具，使用root账户连接了
• 使用root账户登陆后，很多命令就不用写sudo了

2.1.2.修改Linux镜像源

• sudo lsb_release -a：查看自己的ubuntu版本。我的输出如下：

  No LSB modules are available.
  Distributor ID: Ubuntu
  Description:    Ubuntu 20.04.6 LTS
  Release:        20.04
  Codename:       focal
  

• 先备份原本的镜像源文件，以备不时之需

  cp /etc/apt/sources.list /etc/apt/sources.list.bak
  

• 从第一步看到我的Codename为focal，所以我将/etc/apt/sources.list文件，改成如下内容（如果你们Codename是其他的，就把下面的focal换成自己的）：

  deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse  
  deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse  
  deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse  
  deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse  
  deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse  
  deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse  
  deb http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse  
  deb-src http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse  
  deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse  
  deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse    
  

• 然后从新的镜像源 更新一下软件包：sudo apt-get update

2.2.安装GNU

sudo apt-get update
sudo apt install build-essential  

2.3.安装Docker

2.3.1.安装Docker-CE

• 以下命令，一条条执行

sudo apt-get update  

sudo apt-get install \
    ca-certificates \
    curl \
    gnupg \
    lsb-release  

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg  

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null  

sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

2.3.2.修改Containerd 镜像源地址

• 为什么修改containerd的镜像源，而不是修改docker的？
  • 因为我们使用的是kubernetes1.24，此版本已经不再支持container-shim，而是让kubelet直接对接containerd，所以对镜像的管理工作由containerd负责，因此我们直接修改containerd镜像源即可
• containerd默认没有产生配置文件，而是直接使用默认配置，我们先让containerd把默认配置写入一个文件中，然后我们再修改这个配置文件让它生效
  • containerd 根据默认配置生成配置文件

    containerd config default > ~/config.toml
    

  • 编辑 ~/config.toml，加入这两行：

    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
      endpoint = ["https://hub-mirror.c.163.com","https://registry-1.docker.io"]
    

  • 加完之后是这样的，大家对照一下就知道加在哪里了：

    [plugins."io.containerd.grpc.v1.cri".image_decryption]
      key_model = "node"
    
    [plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""
    
      [plugins."io.containerd.grpc.v1.cri".registry.auths]
    
      [plugins."io.containerd.grpc.v1.cri".registry.configs]
    
      [plugins."io.containerd.grpc.v1.cri".registry.headers]
    
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["https://hub-mirror.c.163.com","https://registry-1.docker.io"]
    
    [plugins."io.containerd.grpc.v1.cri".x509_key_pair_streaming]
      tls_cert_file = ""
      tls_key_file = ""
    

  • 另外，还要修改一个地方，就是sandbox_image的镜像
    • 找到 sandbox_image 这个配置项，将value改成 registry.aliyuncs.com/google_containers/pause:3.6
    • 原镜像 registry.k8s.io/pause:3.6 我们拉取不到，创建的pod会报错 拉取pause镜像失败，一直处于 ContainerCreating 状态。

    sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.6"
    

  • 将我们修改后的配置文件，移动到containerd目录下

    mv ~/config.toml /etc/containerd/config.toml
    

  • 重启containerd，让配置文件生效

    systemctl restart containerd
    

  • 查看containerd状态，确保已经active了

    systemctl containerd status
    

2.4.安装rsync

2.4.1.rsync是什么

• rsync 是一个常用的 Linux 应用程序，用于文件同步。
• 它可以在本地计算机与远程计算机之间，或者两个本地目录之间同步文件
• 用法学习教程：https://www.ruanyifeng.com/blog/2020/08/rsync.html

2.4.2.安装rsync

• 进入下载目录，纯粹是为了规范，自己随便下载到哪里都可以

  cd ~/Downloads 或者 mkdir ~/Downloads
  

• 安装rsync

  wget https://github.com/WayneD/rsync/archive/refs/tags/v3.2.4.tar.gz
  tar -xf v3.2.4.tar.gz
  cd rsync-3.2.4
  

• 安装一些工具

  sudo apt install -y gcc g++ gawk autoconf automake python3-cmarkgfm
  sudo apt install -y acl libacl1-dev
  sudo apt install -y attr libattr1-dev
  sudo apt install -y libxxhash-dev
  sudo apt install -y libzstd-dev
  sudo apt install -y liblz4-dev
  sudo apt install -y libssl-dev
  

• 编译，安装

  ./configure
  make
  sudo cp ./rsync /usr/local/bin/
  sudo cp ./rsync-ssl /usr/local/bin/
  

2.5.安装jq

2.5.1.jq是什么

• jq 是 stedolan 开发的一个开源的、轻量级的和灵活的命令行JSON处理器
• 在处理命令行json的时候，我们会用到它
• 学习博客：https://wangchujiang.com/linux-command/c/jq.html

2.5.2.安装jq

sudo apt-get install jq

2.6.安装pyyaml

2.6.1.什么是pyyaml

• PyYAML 是一个用于解析和生成YAML 数据的Python 库。 它提供了简单易用的接口，用于读取和写入YAML 格式的文件、字符串或流。
• 学习博客：https://juejin.cn/post/7252684950276784183

2.6.2.什么是python3-pip

• pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。
• 学习博客：https://www.runoob.com/python3/python3-pip.html

2.6.3.安装pyyaml

• 先安装pip，再安装pyyaml

  sudo apt install python3-pip
  pip install pyyaml
  

2.7.安装Etcd

• etcd版本：kubernetes1.24.0，至少需要3.5.3版本的etcd，我们这里装3.5.4的etcd
  • 1.24.0版本的kubernetes组件版本依赖关系
• 命令如下：
  • 其中，ETCD_VER=v3.5.4是定义一个变量，在当前shell会话中有效

    cd ~/Downloads
    
    ETCD_VER=v3.5.4
    
    curl -L https://storage.googleapis.com/etcd/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o etcd-${ETCD_VER}-linux-amd64.tar.gz
    
    mkdir ~/etcd
    
    tar xzvf etcd-${ETCD_VER}-linux-amd64.tar.gz -C ~/etcd --strip-components=1
    
    vim ~/.bashrc
    
    # 在~/.bashrc最后添加一句：export PATH="/root/etcd:${PATH}"
    
    source ~/.bashrc 
    
    # 检查etcd是否安装成功
    etcd --version
    

2.8.安装golang

• golang版本：kubernetes1.24.0，至少需要1.18.1版本的etcd，我们这里装1.18.2的golang
  • 1.24.0版本的kubernetes组件版本依赖关系
• 安装 golang

  cd ~/Downloads
  wget https://golang.google.cn/dl/go1.18.2.linux-amd64.tar.gz
  sudo rm -rf /usr/local/go && sudo tar -C /usr/local -xzf go1.18.2.linux-amd64.tar.gz
  
  # 创建gopath
  mkdir ~/go
  mkdir ~/go/src
  mkdir ~/go/bin
  vim ~/.bashrc
  
  # 在文件最后添加环境变量
  export GOPATH="/root/go"  
  export GOBIN="/root/go/bin"  
  export PATH="/usr/local/go/bin:$GOPATH/bin:${PATH}" 
  
  source ~/.bashrc
  

• 为了防止运行etcd时找不到命令，将etcd、gopath等加入/etc/sudoers

  vim /etc/sudoers
  

  在secure_path中添加：

  :/usr/local/go/bin:/root/etcd:/root/go/bin
  

• 设置golang代理
  • go 的 很多库，都在国外或google上，所以需要在go的环境变量中设置代理，下载会更快

  go env -w GO111MODULE="on"  
  go env -w GOPROXY="https://goproxy.cn,direct"  
  

2.9.安装CFSSL

2.9.1.CFSSL是什么

• cfssl 是 CloudFlare 开源的一款 PKI/TLS 工具。 cfssl 包含一个命令行工具 和一个用于签名，验证并且捆绑TLS证书的 HTTP API 服务。 使用Go语言编写。
• cfssl 目前常被用做 k8s 集群生成证书
• 学习博客：https://zhuanlan.zhihu.com/p/596891203

2.9.2.CFSSL安装

go install github.com/cloudflare/cfssl/cmd/...@latest  

2.9.3.验证CFSSL是否安装成功

root@graham-virtual-machine:~/go# cfssl
No command is given.
Usage:
Available commands:
        bundle
        certinfo
        ocsprefresh
        scan
        info
        revoke
        version
        gencrl
        ocspdump
        print-defaults
        crl
        sign
        serve
        genkey
        gencert
        gencsr
        ocspsign
        ocspserve
        selfsign
Top-level flags:

3.下载源码

• 源码存放目录：$GOPATH/src/k8s.io
• 原因：虽然后来go已经有了go mod去管理包，但是kubernetes历史比较悠久了，实验证明，还是放在 $GOPATH/src/k8s.io 下，不容易出各种问题
• 执行命令

  mkdir $GOPATH/src/k8s.io  && cd $GOPATH/src/k8s.io
  
  git clone https://github.com/kubernetes/kubernetes.git  
  
  # 从 tag：v1.24.0 中，切出来一个分支 kube1.24，用于我们的学习
  git checkout -b kube1.24 v1.24.0  
  

4.编译+运行

4.1.直接一条命令完成编译+运行

• 执行这两条命令后，就可以完成kubernetes的编译，并运行起来一个单节点kubernetes

  cd $GOPATH/src/k8s.io/kubernetes
  sudo ./hack/local-up-cluster.sh
  

• 这是kubernetes官方给我们提供的，可以用来学习使用

  ./hack/local-up-cluster.sh
  

• 编译过程，可能会在Installing CNI plugin binaries …上卡的比较久，不用急，耐心等待，20min+很正常
• 安装过程中，出现这段，是在提示我们，各个组件的日志位置，有问题可以去看日志

  Logs:
    /tmp/kube-apiserver.log
    /tmp/kube-controller-manager.log
  
    /tmp/kube-proxy.log
    /tmp/kube-scheduler.log
    /tmp/kubelet.log
  

• 当最终出现这段的时候，就代表安装成功了
  • 提示我们：想要使用集群，可以开启另一个端口，执行下面的两条命令
  • export KUBECONFIG=/var/run/kubernetes/admin.kubeconfig是在指定kubeconfig文件
  • cluster/kubectl.sh 就是kubectl命令的位置，我们使用它就是在使用kubectl

  To start using your cluster, you can open up another terminal/tab and run:
  
    export KUBECONFIG=/var/run/kubernetes/admin.kubeconfig
    cluster/kubectl.sh
  
  Alternatively, you can write to the default kubeconfig:
  
    export KUBERNETES_PROVIDER=local
  
    cluster/kubectl.sh config set-cluster local --server=https://localhost:6443 --certificate-authority=/var/run/kubernetes/server-ca.crt
    cluster/kubectl.sh config set-credentials myself --client-key=/var/run/kubernetes/client-admin.key --client-certificate=/var/run/kubernetes/client-admin.crt
    cluster/kubectl.sh config set-context local --cluster=local --user=myself
    cluster/kubectl.sh config use-context local
    cluster/kubectl.sh
  

• 安装完成后，不要关闭当前终端，也不要ctrl+c，我们需要开启另一个终端，验证一下集群是否可以正常使用
  • 先执行一下：export KUBECONFIG=/var/run/kubernetes/admin.kubeconfig
  • 然后使用cluster/kubectl.sh，查看一下集群的node

    root@graham-virtual-machine:~/go/src/k8s.io/kubernetes# cluster/kubectl.sh get nodes
    NAME        STATUS   ROLES    AGE    VERSION
    127.0.0.1   Ready    <none>   119m   v1.24.0
    

  • 注意：一定要在$GOPATH/src/k8s.io/kubernetes目录下执行，因为cluster/kubectl.sh就是kubernetes/cluster目录下的一个sh脚本工具。在别的目录下，相对路径找不到kubectl.sh

4.2.如果不想一键编译运行，如何进行组件的自行编译？

• 编译单个组件

  make WHAT="cmd/kube-apiserver"
  

  • 执行之后，kubernetes的目录中，会出现一个目录_output，该目录中就是刚才编译构件产生的结果
  • _output/bin 目录下，有一些临时文件，其中就包含kube-apiserver的可执行文件
• 编译所有组件
  • 一个个组件的make太麻烦了，可以直接执行 make all，会将当前目录下所有的可构建可编译模块，都进行编译。
  • 不过这样比较慢，我们还是推荐4.1中的方式，快速编译并启动一个单节点kubernetes
• 最后，我们再说一个注意点
  • 如果使用make all这种方式，编译完所有的组件，启动的集群，是没办法使用remote的方式debug的。因为编译的时候，debug有一些不同的处理
  • 我们可以通过修改 kubernetes/hack/lib/golang.sh 文件，让所有的编译在任何情况下都使用 debug方式
  • 找到下面这段，可以看到，两个 if语句，第一个是debug下会干什么、第二个是非debug下会干什么

    gogcflags="all=-trimpath=${trimroot} ${GOGCFLAGS:-}"
    if [[ "${DBG:-}" == 1 ]]; then
        # Debugging - disable optimizations and inlining.
        gogcflags="${gogcflags} -N -l"
    fi
    
    goldflags="all=$(kube::version::ldflags) ${GOLDFLAGS:-}"
    if [[ "${DBG:-}" != 1 ]]; then
        # Not debugging - disable symbols and DWARF.
        goldflags="${goldflags} -s -w"
    fi
    

  • 我们改成下面这样就好了
    • 把debug执行的语句，从if中取出，这样不管怎么样，都会执行
    • 非debug执行的代码注掉，这样就不会执行到了

    gogcflags="all=-trimpath=${trimroot} ${GOGCFLAGS:-}"
    # if [[ "${DBG:-}" == 1 ]]; then
    #     # Debugging - disable optimizations and inlining.
    #     gogcflags="${gogcflags} -N -l"
    # fi
    gogcflags="${gogcflags} -N -l"
    goldflags="all=$(kube::version::ldflags) ${GOLDFLAGS:-}"
    # if [[ "${DBG:-}" != 1 ]]; then
    #     # Not debugging - disable symbols and DWARF.
    #     goldflags="${goldflags} -s -w"
    # fi
    

  • 这样以后再执行 make all，编译出来的东西，就可以debug

4.3.如何停止启动的集群

• 我们来到之前进行编译的那个终端页面，直接ctrl+c就可以完成集群停止

4.4.修改代码后，如何重新编译

• 下次再执行 sudo ./hack/local-up-cluster.sh，不会再去编译生成可执行文件，会使用上次的编译结果。
• 如果我们已经修改了源码，需要先执行 make clean 清理掉之前的编译结果，然后再执行 sudo ./hack/local-up-cluster.sh 才会生成新的可执行文件。

5.kubernetes工程目录结构速览

• cmd目录：所有组件的入口。cmd下的每一个文件夹，最终基本上都会编译成一个可执行文件
• pkg目录：大量核心代码都在这里
• hack目录：很多脚本工具，比如我们快速编译+启动本地集群，使用的local-up-cluster.sh就在这里
• staging目录：
  • kubernetes项目越来越大，社区希望把已有的很多功能模块化，作为单独的项目进行维护和演进。
  • 但是这些模块也不是一下就能剥离出来的，所以先把这些模块，作为一个独立的目录，放在staging下。
  • 一旦有哪一个模块剥离成功，就会从staging下移除，以引用外部工具的方式，导入到vendor目录下进行使用。

参考资料

• https://wqyin.cn/gitbooks/kubeSourceCodeNote/apiServer/