jq 是一款命令行的 json 处理工具。类似于 lodash 一样,它可以对 json 做各种各样的处理: pick,get,filter,sort,map…
如果需要更多的细节,可以参考官方文档
jq 主要可以分作两部分,options 即选项,filter 即各种转换操作,类似于 lodash 的各种函数
option
常用以下几个选项
- -s: 把读取的 jsonl 视作 JSON 数组来处理 (如 group, sort 只能以数组作为输入)
- -c: 不对输出的 json 做格式化,一行输出
- –stream: 对 json 逐字段输出
filter
filter 拥有 JSON 处理的各种操作,如 get,map,filter,map,pick,uniq,group 等操作
- . : 代表自身
- .a.b: 相当于 _.get(input, ‘a.b’)
- select(bool): 相当于 _.filter(boolFn)
- map_values: 相当于 _.map,不过 jq 无法单独操作 key
- sort
- group_by
jq [options...] filter [files]
举例说明
下面以demo.json为例子
{
"name": "shanyue",
"age": 24,
"friend": {
"name": "shuifeng"
}
}
{
"name": "shuifeng",
"age": 25,
"friend": {
"name": "shanyue"
}
}
- 如何把 JSON 转化为 JSONL
cat demo.json | jq '.[]'
- 如何把 JSONL 转化为 JSON
cat demo.jsonl | jq -s '.'
- 如何使 JSONL 只输出特定的字段
cat demo.jsonl | jq '.name'
如何筛选 JSONL 特定字段进行输出
cat demo.jsonl | jq 'select(.age > 24) | {name}'
如何与 less/tail 结合使用
例如,如果 JSON 数据过大时,可选择使用 less 查看数据,如果在 less 中需要语法高亮时,可使用 jq -C
cat demo.json | jq -C '.' | less
例如,在后端写 API 接口时,生产环境的日志往往通过 JSONL 格式进行文件存储,此时可通过 tail -f 实时查看日志
tail -f demo.jsonl | jq '.'
如果只关注某个参数的话,也可以进行筛选
tail -f demo.jsonl | jq '{name}'