概述
摘要: 在kubernetes二次开发中，常用yaml文件来创建资源，比如Pod,deployment。在使用client-go创建资源之前，需要将yaml文件转换为资源对象obj。本文介绍yaml文件的编码和解码的使用。
正文
yaml文档介绍
YAML 是一种轻量级的数据序列化格式，用于在不同平台间传输数据，也用于配置文件等场景。在 YAML 中，整个数据文件称为“文档”，而一般情况下，每个 YAML 文件只包含一个文档。而在kubernetes使用中，kubectl为了创建资源方便性，常用的YAML文件确包括多个文档。
文档可以包含一个或多个“节点”，每个节点包含一个或多个键值对。键值对之间的关系使用冒号（:）表示，键值对的键和值之间使用空格隔开，同时整个键、值对的行末不能有多余的空格。一个节点可以用减号（-）开头表示它是一个序列，即列表。
# 这是一个 YAML 文档
name: Tom
age: 30
hobbies:
- reading
- running
- swimming
在这个文档中，使用“#”符号表示注释，每个节点的键和值之间用冒号分隔，节点之间使用换行符分隔。在“hobbies”节点中，使用“-”符号表示这是一个序列（即一个列表），列表中的项目用“-”符号开始表示
YAML 文档特点包括：
-
易读性：YAML 使用缩进和结构化的格式，使得它非常易读。它使用空格而不是特殊符号来表示层级关系，使得文档具有良好的可读性。 -
简洁性：YAML 使用简洁的语法来表示数据结构，避免了冗余和重复。它支持使用引用和折叠块等特性来简化文档的编写。 -
可嵌套性：YAML 支持嵌套结构，可以在一个节点中包含其他节点，从而表示更复杂的数据结构。这种嵌套结构使得数据的组织更加灵活和清晰。
-
跨平台：YAML 是一种与编程语言无关的数据格式，可以轻松地在不同的编程语言和平台之间进行交换和共享。 -
强大的数据表达能力：YAML 支持表示各种数据类型，包括字符串、整数、浮点数、布尔值、日期、时间、正则表达式等。它还支持列表、哈希表等数据结构。 -
注释：YAML 允许在文档中包含注释，注释以“#”符号开头，可以用于提供有关数据的额外说明或注解。
-
可扩展性：YAML 允许用户通过自定义标签和类型的方式扩展其功能，使其适应更多的应用场景和需求。
-
与配置文件的兼容性：由于其易读性和简洁性，YAML 在配置文件方面非常流行。它被广泛用于各种软件和框架的配置文件中，如
Kubernetes、DockerCompose、Ansible等。总的来说，YAML 是一种简单、可读性强且功能丰富的数据序列化格式，非常适合在配置文件和数据交换方面使用
对YAML文档的处理常用三方库 "gopkg.in/yaml.v2"
常用方法包括
-
Yaml.Marshal() 将结构体对象 转换为YAML字符串
-
yaml.Unmarshal() 将YAML字符串转换为结构体对象
代码示例
yaml文件与结构体之间的转换
创建一个用于测试YAML文件fakePersonStruct.yaml
---
name: xianwei
age: 18
city: shenzhen
编写测试代码
// go test -run="^TestPersonStruct$" -v
func TestPersonStruct(t *testing.T) {
// 定义一个结构体
type Person struct {
Name string `yaml:"name"`
Age int `yaml:"int"`
City string `yaml:"city"`
}
byteStream, err := ioutil.ReadFile("yamldir/fakePersonStruct.yaml")
if err != nil {
t.Errorf("cann not open file.err=%v\n", err)
return
}
// yaml字符串转换为person对象
p := new(Person)
if err := yaml.Unmarshal(byteStream, p); err != nil {
t.Errorf("yaml.Unmarshal.err=%v\n", err)
return
}
fmt.Printf("person= %+v\n", p)
// Person对象转换为yaml字符串
yamlstr, err := yaml.Marshal(p)
if err != nil {
t.Errorf("yaml.Marshal.err=%v\n", err)
return
}
fmt.Printf("yamlstr= %+v\n", string(yamlstr))
}
上面代码实现了：
- yaml字符串转换为person对象
- Person对象转换为yaml字符串
代码输出
=== RUN TestPersonStruct
person= &{Name:xianwei Age:0 City:shenzhen}
yamlstr= name: xianwei
int: 0
city: shenzhen
--- PASS: TestPersonStruct (0.00s)
PASS
解析yaml文件并创建pod
使用yaml创建pod时，需要注意的是，需要先将yaml串转换为json串，再由json串Unmarshal成一个pod对象。原因是v1.pod类型定义中(源码如下所示)，只指定定义字符串的转换。
type Pod struct {
metav1.TypeMeta `json:",inline"`
metav1.ObjectMeta `json:"metadata,omitempty" protobuf:"bytes,1,opt,name=metadata"`
Spec PodSpec `json:"spec,omitempty" protobuf:"bytes,2,opt,name=spec"`
Status PodStatus `json:"status,omitempty" protobuf:"bytes,3,opt,name=status"`
}
创建一个用于测试YAML文件pod-nginx.yaml
---
apiVersion: v1
kind: Pod
metadata:
name: mynginx
spec:
containers:
- name: nginx
image: nginx:1.14.2
编写测试代码
// go test -run="^TestYamlfilePod$" -v
func TestYamlfilePod(t *testing.T) {
// 将yaml文件转换为pod对象
byteStream, err := ioutil.ReadFile("yamldir/pod-nginx.yaml")
if err != nil {
t.Errorf("cann not open file.err=%v\n", err)
return
}
// yaml串转换为json串
pod := new(v1.Pod)
// yaml2 表示 三方库"k8s.io/apimachinery/pkg/util/yaml"
jsonstr, err := yaml2.ToJSON(byteStream)
if err != nil {
t.Errorf("yaml2.ToJSON.err=%v\n", err)
return
}
fmt.Printf("jsonstr= %v\n", string(jsonstr))
// json串转换为pod结构体
err = json.Unmarshal(jsonstr, &pod)
if err != nil {
t.Errorf("json.Unmarshal.err=%v\n", err)
return
}
fmt.Printf("pod= %v\n", pod)
// clientset获取
restConfig, err := clientcmd.BuildConfigFromFlags("", "/Users/80280051/.kube/dg11test/config")
if err != nil {
panic(err)
}
K8sClientSet, err := kubernetes.NewForConfig(restConfig)
if err != nil {
panic(err)
}
// 创建pod
_, err = K8sClientSet.CoreV1().Pods("default").Create(pod)
if err != nil {
t.Errorf("cann not create pod.err=%v\n", err)
return
}
}
上面代码实现了：
- yaml字符串转换为json字符串
- 再由json字符串转换pod对象
- 最后使用clientset创建pod
代码输出
=== RUN TestYamlfilePod
jsonstr= {"apiVersion":"v1","kind":"Pod","metadata":{"name":"mynginx"},"spec":{"containers":[{"image":"nginx:1.14.2","name":"nginx"}]}}
pod= &Pod{ObjectMeta:{mynginx 0 0001-01-01 00:00:00 +0000 UTC <nil> <nil> map[] map[] [] [] []},Spec:PodSpec{Volumes:[]Volume{},Containers:[]Container{Container{Name:nginx,Image:nginx:1.14.2,Command:[],Args:[],WorkingDir:,Ports:[]ContainerPort{},Env:[]EnvVar{},Resources:ResourceRequirements{Limits:ResourceList{},Requests:ResourceList{},},VolumeMounts:[]VolumeMount{},LivenessProbe:nil,ReadinessProbe:nil,Lifecycle:nil,TerminationMessagePath:,ImagePullPolicy:,SecurityContext:nil,Stdin:false,StdinOnce:false,TTY:false,EnvFrom:[]EnvFromSource{},TerminationMessagePolicy:,VolumeDevices:[]VolumeDevice{},StartupProbe:nil,},},RestartPolicy:,TerminationGracePeriodSeconds:nil,ActiveDeadlineSeconds:nil,DNSPolicy:,NodeSelector:map[string]string{},ServiceAccountName:,DeprecatedServiceAccount:,NodeName:,HostNetwork:false,HostPID:false,HostIPC:false,SecurityContext:nil,ImagePullSecrets:[]LocalObjectReference{},Hostname:,Subdomain:,Affinity:nil,SchedulerName:,InitContainers:[]Container{},AutomountServiceAccountToken:nil,Tolerations:[]Toleration{},HostAliases:[]HostAlias{},PriorityClassName:,Priority:nil,DNSConfig:nil,ShareProcessNamespace:nil,ReadinessGates:[]PodReadinessGate{},RuntimeClassName:nil,EnableServiceLinks:nil,PreemptionPolicy:nil,Overhead:ResourceList{},TopologySpreadConstraints:[]TopologySpreadConstraint{},EphemeralContainers:[]EphemeralContainer{},},Status:PodStatus{Phase:,Conditions:[]PodCondition{},Message:,Reason:,HostIP:,PodIP:,StartTime:<nil>,ContainerStatuses:[]ContainerStatus{},QOSClass:,InitContainerStatuses:[]ContainerStatus{},NominatedNodeName:,PodIPs:[]PodIP{},EphemeralContainerStatuses:[]ContainerStatus{},},}
--- PASS: TestYamlfilePod (0.05s)
PASS
yaml文件中多文档的处理
在使用kubectl或client-go创建Pod时，经常会将多个YAML文档写到一个YAML文件。此种情况下，可以通过按字符串"\n—"进行分割，分别处理。
创建一个用于测试YAML文件pod-nginx-secret.yaml
---
apiVersion: v1
kind: Pod
metadata:
name: mynginx
spec:
containers:
- name: nginx
image: nginx:1.14.2
---
apiVersion: v1
type: Opaque
stringData:
userdata: "eGlhbndlaTExMQo="
kind: Secret
metadata:
name: mySecret
编写测试代码
// go test -run="^TestYamlfileMultiDocument" -mod=vendor -v
func TestYamlfileMultiDocument(t *testing.T) {
// 将yaml文件转换为yaml串
fp, err := ioutil.ReadFile("yamldir/pod-nginx-secret.yaml")
if err != nil {
t.Errorf("cann not open file.err=%v\n", err)
return
}
// 定义分隔符
const yamlSeparator = "\n---"
pod := new(v1.Pod)
secret := new(v1.Secret)
yamlsplit := strings.Split(string(fp), yamlSeparator)
fmt.Println("len of yamlsplit = ", len(yamlsplit))
for index, yamlObj := range yamlsplit {
// 处理第一个yaml文档，转换为 pod 对象
if index == 0 {
// 转换为对象
fmt.Println("obj=", yamlObj)
if err = yaml.Unmarshal([]byte(yamlObj), pod); err != nil {
t.Errorf("yaml unmarshal error of pod.err = %v\n", err)
return
}
fmt.Printf("pod obj =%+v\n", pod)
}
// 处理第二个yaml文档，转换为secret对象
if index == 1 {
fmt.Println("obj=", yamlObj)
// 转换为对象
if err = yaml.Unmarshal([]byte(yamlObj), secret); err != nil {
t.Errorf("yaml unmarshal error of secret.err = %v\n", err)
return
}
fmt.Printf("secret obj =%+v\n", secret)
}
}
}
上面代码实现了：
- 对yaml字符串按"\n—"进行分割
- 对分割后的第一个yaml文档，转换为 pod 对象
- 对分割后的第二个yaml文档，转换为secret对象
代码输出
=== RUN TestYamlfileMultiDocument
len of yamlsplit = 2
obj= ---
apiVersion: v1
kind: Pod
metadata:
name: mynginx
spec:
containers:
- name: nginx
image: nginx:1.14.2
pod obj =&Pod{ObjectMeta:{ 0 0001-01-01 00:00:00 +0000 UTC <nil> <nil> map[] map[] [] [] []},Spec:PodSpec{Volumes:[]Volume{},Containers:[]Container{Container{Name:nginx,Image:nginx:1.14.2,Command:[],Args:[],WorkingDir:,Ports:[]ContainerPort{},Env:[]EnvVar{},Resources:ResourceRequirements{Limits:ResourceList{},Requests:ResourceList{},},VolumeMounts:[]VolumeMount{},LivenessProbe:nil,ReadinessProbe:nil,Lifecycle:nil,TerminationMessagePath:,ImagePullPolicy:,SecurityContext:nil,Stdin:false,StdinOnce:false,TTY:false,EnvFrom:[]EnvFromSource{},TerminationMessagePolicy:,VolumeDevices:[]VolumeDevice{},StartupProbe:nil,},},RestartPolicy:,TerminationGracePeriodSeconds:nil,ActiveDeadlineSeconds:nil,DNSPolicy:,NodeSelector:map[string]string{},ServiceAccountName:,DeprecatedServiceAccount:,NodeName:,HostNetwork:false,HostPID:false,HostIPC:false,SecurityContext:nil,ImagePullSecrets:[]LocalObjectReference{},Hostname:,Subdomain:,Affinity:nil,SchedulerName:,InitContainers:[]Container{},AutomountServiceAccountToken:nil,Tolerations:[]Toleration{},HostAliases:[]HostAlias{},PriorityClassName:,Priority:nil,DNSConfig:nil,ShareProcessNamespace:nil,ReadinessGates:[]PodReadinessGate{},RuntimeClassName:nil,EnableServiceLinks:nil,PreemptionPolicy:nil,Overhead:ResourceList{},TopologySpreadConstraints:[]TopologySpreadConstraint{},EphemeralContainers:[]EphemeralContainer{},},Status:PodStatus{Phase:,Conditions:[]PodCondition{},Message:,Reason:,HostIP:,PodIP:,StartTime:<nil>,ContainerStatuses:[]ContainerStatus{},QOSClass:,InitContainerStatuses:[]ContainerStatus{},NominatedNodeName:,PodIPs:[]PodIP{},EphemeralContainerStatuses:[]ContainerStatus{},},}
obj=
apiVersion: v1
type: Opaque
stringData:
userdata: "eGlhbndlaTExMQo="
kind: Secret
metadata:
name: mySecret
secret obj =&Secret{ObjectMeta:{ 0 0001-01-01 00:00:00 +0000 UTC <nil> <nil> map[] map[] [] [] []},Data:map[string][]byte{},Type:Opaque,StringData:map[string]string{},}
--- PASS: TestYamlfileMultiDocument (0.00s)
PASS
总结
本文介绍了YAML文档的特点，并用代码演示了GO语言对YAML文档的处理，特别是描述了当YAML文件中存在多个YAML文档时如何处理的方法。
1588
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
