用shell脚本生成data pipeline的日志

在数据处理的data pipeline中,shell脚本常用于批量任务,生成日志文件便于调试和追踪。本文介绍了如何用echo命令、cat命令配合EOF以及反引号生成日志,提供了一种在shell脚本中实现日志记录的方法。
摘要由CSDN通过智能技术生成

用shell脚本生成data pipeline的日志

在数据处理的data pipeline通常主要的数据处理工作都是用shell脚本批量完成. 特别有必要生成各被试数据处理日志文件以便pipeline的调试, 优化, 数据处理的追踪. Python提供了一个日志记录工具包: loggings, 其实shell脚本也可以方便地生成日志.

用echo命令

用echo将需要记录的内容输出, 并通过管道重定位到日志文件中

for g in `cat test` ; do  
  echo "line in test: "$g >> .logmore   
done

用cat命令配合EOF

对于内容很多的情况, 可以用EOF结合cat命令。
EOF是END Of File的缩写,表示自定义终止符.既然自定义,那么EOF就不是固定的,可以随意设置别名,在linux控制台按ctrl-d就代表EOF, 终止正在运行的命令.
EOF一般会配合cat能够多行文本输出.
通过cat配合重定向(<, >, <<, >>)能够生成文件并追加操作, 其用法如下:


                
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值