阿里云数据加工函数

阿里云日志管理

数据加工一览

合并函数 e_set

合并两个或多个字段内容(数字或字符串)

set为覆盖或新增字段函数
op_add为合并计算字符串或者数字

字符串加工
加工语句
e_set("website", op_add("https://", v("host")))

原始日志
host: baidu.com

加工结果
host: baidu.com
website: https://baidu.com

数字计算加工
加工语句
e_set("int1", op_add(ct_int(v("int2")), ct_int(v("int3"))))

原始日志
int2:214
int3:123

加工结果
int2:214
int3:123
int1:337

新增或覆盖原字段函数 e_set

默认为 mode=“overwrite”

参考值	说明
full	当目标字段不存在或者值为空时，设置目标字段。
fill-auto	当新值非空，且目标字段不存在或者值为空时，设置目标字段。
add	当目标字段不存在时，设置目标字段。
add-auto	当新值非空，且目标字段不存在时，设置目标字段。
overwrite	总是设置目标字段。
overwrite-auto	当新值非空，设置目标字段。

加工语句
e_set("Server", v("object"), mode="overwrite")

原始日志
Server：‘111’
object： ‘123123’

加工结果
Server：‘123123’
object： ‘123123’

下标获取函数 op_index

根据下标返回对应的元素
原始日志

word:  I,love,this,world

返回下标为0的加工语句

e_set("index",op_index(v("word"),0))

加工结果

word:  I,love,this,world
index: I

返回下标为3加工语句

e_set("index",op_index(v("word"),3))

加工结果

word:  I,love,this,world
index: o

截取函数。op_slice

对指定字符串、数组、元组进行截取
函数格式

op_slice(value, start, end=None, step=None)
value 函数要切片的值。
start 截取的起始位置，默认为位置0。
end 截取的结束位置，不包含该位置，默认为字符串结尾位置
step 每次截取的长度。

原始日志
word:  I,love,this,world

加工规则
e_set("op_slice",op_slice(v("word"),2,9,1))

加工结果
word:  I,love,this,world
op_slice: love,th

分割函数。e_csv

使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段

原始日志
word:  I,love,this,world

加工规则
e_csv("word",["title1", "title2", "title3","title4",],
    sep="，",quote='"',restrict=True,mode="overwrite",)

加工结果
word:  I,love,this,world
title1：I
title2：love
title3：this
title4：world