python etl yaml_python3 对象 |字典|json|yaml|字符串 相互转化

image.png

在研究 k8s 的yaml 配置文件的时候，我总担心自己一不小心 会写错，所以我向往 使用将对象 序列化 yaml 的形式，

其实 python object 可以 直接 转 yaml ，甚至也可以 直接 转成yaml文件！！！

这里 会经常用到几个 函数 vars() ast.

import ast

dict_str='****'

real_dict=ast.literal_eval(dict_str)

## 可以处理 键没有 引号 或者键是单引号， json 转dict ，只能处理 键是双引号的

我们先尝试用最笨的方法 实现 object到yaml 的转化

在python对象 convert to dict 的形式，使用 vars()函数

然后 dict convert to json 使用 json.dumps(dict)函数

然后 json converte to yaml 使用 ya= yaml.load(json.dumps(dict)) 然后

再 yaml.safe_dump(ya,default_flow_style=False)

至此我们看到 从 python Object ---> dict ----> json ---> yaml 的转化

其中 obj dict json yaml 转 string ，只要 str()函数即可,或者 str(vars())结合

yaml 格式 写入到文件 ,需要注意的是， open()函数 的mode 一定要是 'w' ,不能是’wb', b代表是二进制写入

yaml 写入的是dict str，使用 ‘wb' 会报错，[yaml TypeError: a bytes-like object is required, not 'str']

【出现该错误往往是通过open()函数打开文本文件时，使用了‘rb’属性，如：fileHandle=open(filename,'rb'),则此时是通过二进制方式打开文件的，所以在后面处理时如果使用了str()函数，就会出现该错误，该错误不会再python2中出现。

具体解决方法有以下两种：

第一种，在open()函数中使用‘r’属性，即文本方式读取，而不是‘rb’,以二进制文件方式读取，可以直接解决问题。

import yaml

import json

objdict=vars(Ojbect.instance)

data=json.dumps(objdict)

ya=yaml.load(data)

filey='/Users/geo/Documents/etl_ml/etl_ml/data/demos.yaml'

stream = open(filey, 'w')

yaml.safe_dump(ya,stream,default_flow_style=False)

其实 python object 可以 直接 转 yaml ，甚至也可以 直接 转成yaml文件！！！

比如我已经定义了一个 Dog python class,他有 好几个属性 并已经赋值初始化了

import json

import yaml

class Dag:

def __init__(self):

self.apiVersion="apps/v1beta1"

self.kind='Deployment'

wifi_arr=['geo','tmtl','father']

self.metadata=wifi_arr

ports_Arr=[{'containerPort':8080}]

self.ports=ports_Arr

dic={'app': {

"containers": [

{

"name": "springboot-demo",

"image": "springboot-demo",

"imagePullPolicy": "IfNotPresent",

"ports": [

{

"containerPort": 8080

}

]

}

]

}}

#print(str(dic))

self.di=dic

meta_Dict={'name':'springboot-demo-deployment','labels':dic}

self.metadata=meta_Dict

另外生成 yaml 对象

if __name__ == '__main__':

da=Dag()

###

yaml_format=yaml.safe_dump(da.__dict__,default_flow_style=False)

print( yaml_format)

生成yaml文件

if __name__ == '__main__':

dog=Dag()

file = 'data/demo.yaml'

stream = open(file, 'w')

###重点！！！ 生成 yaml 文件

yaml.safe_dump(dog.__dict__, stream=stream,default_flow_style=False)

结果是

apiVersion: apps/v1beta1

di: &id001

app:

containers:

- image: springboot-demo

imagePullPolicy: IfNotPresent

name: springboot-demo

ports:

- containerPort: 8080

kind: Deployment

metadata:

labels: *id001

name: springboot-demo-deployment

ports:

- containerPort: 8080

反过来 yaml ----> json ---> 持久化 json 文件 indent=1属性是为了让 json 不以单行展示，而是展开

注意的是 python 的 dict 和set 很相似 ，都是 { }， set 里是list， dict 是键值对

【# set object is not JSON serializable [duplicate]

】

yaml_file = yaml.load(data)

json_file='/data/demo.json'

json_file2='/data/demo2.json'

#json持久化 1

with open(json_file,'w') as fp:

fp.write(json.dumps(yaml_file,indent=1))

# json持久化 2

with open(json_file2, 'w') as fp:

json.dump(yaml_file, fp,indent=1)

打开 demo.json

{

"apiVersion": "apps/v1beta1",

"kind": "Deployment",

"metadata": {

"name": "springboot-demo-deployment",

"labels": {

"app": {

"containers": [

{

"name": "springboot-demo",

"image": "springboot-demo",

"imagePullPolicy": "IfNotPresent",

"ports": [

{

"containerPort": 8080

}

]

}

]

}

}

},

"ports": [

{

"containerPort": 8080

}

],

"di": {

"app": {

"containers": [

{

"name": "springboot-demo",

"image": "springboot-demo",

"imagePullPolicy": "IfNotPresent",

"ports": [

{

"containerPort": 8080

}

]

}

]

}

}

}

image.png

yaml ---> dict

objdict = vars(self)

data = json.dumps(objdict)

yaml_file = yaml.load(data)

fl=json.dumps(yaml_file,indent=1)

dict=json.loads(fl)

yaml ---> python object

json --> dict

json.loads()

dict--> json

json.jumps()

str ---> dict

newdict=dict(str)

json -- > python object

一个python object无法直接与json转化，只能先将对象转化成dictionary，再转化成json；对json，也只能先转换成dictionary，再转化成object，通过实践，源码如下：

yaml --> python object

对yaml，也只能先转换成json --->dictionary，再转化成object，通过实践，源码如下：

dict -- ->python object

python对象 默认都有一个 私有的属性 dict 取值 就是 object的 字典形式， 赋值就就可以给对象属性对应赋值

object._dict_

例如json 转 对象

j = '{"id": "007", "name": "007", "age": 28, "sex": "male", "phone": "13000000000", "email": "123@qq.com"}'

dict = json.loads(s=j)

stu = Student()

stu.__dict__ = dict

对象 转 json

import json

def obj_to_json():

stu = Student('007', '007', 28, 'male', '13000000000', '123@qq.com')

print(type(stu)) #

stu = stu.__dict__ # 将对象转成dict字典

print(type(stu)) #

print(stu) # {'id': '007', 'name': '007', 'age': 28, 'sex': 'male', 'phone': '13000000000', 'email': '123@qq.com'}

j = json.dumps(obj=stu)

print(j) # {"id": "007", "name": "007", "age": 28, "sex": "male", "phone": "13000000000", "email": "123@qq.com"}

if __name__ == '__main__':

obj_to_json()

Python之dict(或对象)与json之间的互相转化

在Python语言中，json数据与dict字典以及对象之间的转化，是必不可少的操作。

在Python中自带json库。通过import json导入。

在json模块有2个方法，

loads()：将json数据转化成dict数据

dumps()：将dict数据转化成json数据

load()：读取json文件数据，转成dict数据

dump()：将dict数据转化成json数据后写入json文件

下面是具体的示例：

dict字典转json数据

import json

def dict_to_json():

dict = {}

dict['name'] = 'many'

dict['age'] = 10

dict['sex'] = 'male'

print(dict) # 输出：{'name': 'many', 'age': 10, 'sex': 'male'}

j = json.dumps(dict)

print(j) # 输出：{"name": "many", "age": 10, "sex": "male"}

if __name__ == '__main__':

dict_to_json()

对象转json数据

import json

def obj_to_json():

stu = Student('007', '007', 28, 'male', '13000000000', '123@qq.com')

print(type(stu)) #

stu = stu.__dict__ # 将对象转成dict字典

print(type(stu)) #

print(stu) # {'id': '007', 'name': '007', 'age': 28, 'sex': 'male', 'phone': '13000000000', 'email': '123@qq.com'}

j = json.dumps(obj=stu)

print(j) # {"id": "007", "name": "007", "age": 28, "sex": "male", "phone": "13000000000", "email": "123@qq.com"}

if __name__ == '__main__':

obj_to_json()

json数据转成dict字典

import json

def json_to_dict():

j = '{"id": "007", "name": "007", "age": 28, "sex": "male", "phone": "13000000000", "email": "123@qq.com"}'

dict = json.loads(s=j)

print(dict) # {'id': '007', 'name': '007', 'age': 28, 'sex': 'male', 'phone': '13000000000', 'email': '123@qq.com'}

if __name__ == '__main__':

json_to_dict()

json数据转成对象

import json

def json_to_obj():

j = '{"id": "007", "name": "007", "age": 28, "sex": "male", "phone": "13000000000", "email": "123@qq.com"}'

dict = json.loads(s=j)

stu = Student()

stu.__dict__ = dict

print('id: ' + stu.id + ' name: ' + stu.name + ' age: ' + str(stu.age) + ' sex: ' + str(

stu.sex) + ' phone: ' + stu.phone + ' email: ' + stu.email) # id: 007 name: 007 age: 28 sex: male phone: 13000000000 email: 123@qq.com

if __name__ == '__main__':

json_to_obj()

json的load()与dump()方法的使用

dump()方法的使用

import json

def dict_to_json_write_file():

dict = {}

dict['name'] = 'many'

dict['age'] = 10

dict['sex'] = 'male'

print(dict) # {'name': 'many', 'age': 10, 'sex': 'male'}

with open('1.json', 'w') as f:

json.dump(dict, f) # 会在目录下生成一个1.json的文件，文件内容是dict数据转成的json数据

if __name__ == '__main__':

dict_to_json_write_file()

load()的使用

import json

def json_file_to_dict():

with open('1.json', 'r') as f:

dict = json.load(fp=f)

print(dict) # {'name': 'many', 'age': 10, 'sex': 'male'}

if __name__ == '__main__':

json_file_to_dict()