Linux 写命令提取 log 中的 acc 和 loss

最新推荐文章于 2024-11-04 04:24:26 发布
最新推荐文章于 2024-11-04 04:24:26 发布
阅读量659 收藏
点赞数 1
分类专栏： Linux 文章标签： linux shell cmd
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hugvgngj/article/details/110957167
版权

每个人的 log 长相不一样，都是随时调整，但是基本离不开 cat grep awk 这几个命令

log 长相

2020-12-04 06:02:47 INFO - 12/04/20 14:02:46 - 3 days, 3:31:31 -  360000 -  112.63 sent/s -  4279.79 words/s - MLM-ar:  2.3477 || MLM-de:  1.7728 || MLM-el:  1.5244 || MLM-en:  1.7175 || MLM-es:  1.7692 || MLM-fr:  1.4595 || MLM-ru:  1.4033 || MLM-th:  2.5566 -  - model LR: 9.4301e-06
2020-12-04 06:02:47 INFO - 12/04/20 14:02:46 - 3 days, 3:31:29 -  360000 -  112.62 sent/s -  4266.22 words/s - MLM-ar:  2.1328 || MLM-de:  1.7043 || MLM-el:  1.7100 || MLM-en:  1.5283 || MLM-es:  1.5969 || MLM-fr:  1.5846 || MLM-hi:  2.2598 || MLM-ru:  1.4770 || MLM-zh:  2.4414 -  - model LR: 9.4301e-06
2020-12-04 06:02:47 INFO - 12/04/20 14:02:46 - 3 days, 3:31:28 -  360000 -  112.63 sent/s -  4273.08 words/s - MLM-ar:  2.2959 || MLM-de:  1.6400 || MLM-en:  1.5591 || MLM-es:  1.6094 || MLM-fr:  1.6204 || MLM-ru:  1.7168 || MLM-tr:  2.2637 || MLM-vi:  2.0249 -  - model LR: 9.4301e-06
2020-12-04 06:02:47 INFO - 12/04/20 14:02:46 - 3 days, 3:31:32 -  360000 -  112.64 sent/s -  4302.83 words/s - MLM-ar:  2.2988 || MLM-bg:  1.7324 || MLM-de:  1.8081 || MLM-el:  1.9897 || MLM-en:  1.6924 || MLM-es:  1.6566 || MLM-fr:  1.4469 || MLM-hi:  2.2031 || MLM-ru:  1.5732 || MLM-sw:  2.3613 || MLM-tr:  2.0488 || MLM-ur:  2.5059 || MLM-vi:  1.9072 -  - model LR: 9.4301e-06
2020-12-04 06:02:47 INFO - 12/04/20 14:02:46 - 3 days, 3:31:30 - ============ End of epoch 35 ============
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - epoch -> 35.000000
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_tr_mlm_loss -> 19798.168945
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_tr_mlm_ppl -> 10.865678
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_tr_mlm_acc -> 55.536812
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_ur_mlm_loss -> 17430.359924
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_ur_mlm_ppl -> 11.203040
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_ur_mlm_acc -> 54.893263
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_vi_mlm_loss -> 14435.647949
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_vi_mlm_ppl -> 6.984347
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_vi_mlm_acc -> 60.818635
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_zh_mlm_loss -> 24963.236816
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_zh_mlm_ppl -> 11.896758
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_zh_mlm_acc -> 53.506597
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_mlm_loss -> 19229.647253
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_mlm_ppl -> 8.562056
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - valid_mlm_acc -> 59.772871
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_tr_mlm_loss -> 10030.201538
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_tr_mlm_ppl -> 10.662468
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_tr_mlm_acc -> 55.356300
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_ur_mlm_loss -> 9371.606445
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_ur_mlm_ppl -> 12.163368
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_ur_mlm_acc -> 55.238603
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_vi_mlm_loss -> 7488.517090
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_vi_mlm_ppl -> 7.186609
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_vi_mlm_acc -> 61.706610
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_zh_mlm_loss -> 12373.904297
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_zh_mlm_ppl -> 11.967894
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_zh_mlm_acc -> 53.941825
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_mlm_loss -> 9702.032363
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_mlm_ppl -> 8.654818
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - test_mlm_acc -> 60.052012
2020-12-04 06:03:54 INFO - 12/04/20 14:03:52 - 3 days, 3:32:35 - New best validation score: 8.562056

以上是删减过的，主要是看个乱的结构。

目的

目的是拿出最后每个 epoch 的 test_mlm_acc 并存到另一个地方

命令

cat baseline.txt | grep 'test_mlm_acc -> ' | awk  '{print $NF}' | uniq >baseline_acc.txt

其中 baseline.txt 就是原始 log 文件，cat 就是 catch 所有内容，拿来第一个 grep 找到 test_mlm_ppl 所在的行（grep 命令是抓出满足条件的行），把这些行再送给 awk，这里 $NF 是指最后一个字段，就是 log 中的数值。最后因为这是多卡跑的，所以输出重复了（下次要设置 master 输出结果…），需要用 uniq 消除重复行，注意这里只是消除上下文重复的，如果想消除所有重复的需要先 sort 一下。最后箭头就是输出到这个文件里来。

其他

后来又碰到了其他需求，懒得开新文章了，都贴在这里：

获取某个文件中第几行的最后一个字符：

head -n_line filename.txt | tail -1 | awk -F '' '$0 =$NF'

删除文件中每行最后一个字符：

cat fname.txt | sed 's/.$//' > filename.txt

删除文件中带 “inside apex” 的行：

cat single_data.txt | sed 's/.$//' > s_data.txt

获取每行第54到第58个字符：

cat funnel-codebase.txt | grep 'nll_loss=' | cut -c54-58 >funnelcodebase_acc.txt

Kkkkaii
关注
专栏目录
PaddlePaddle/PaddleOCR 中英文文字识别
钱多多先森
09-06 8438
1.准备工作 GitHub地址：https://github.com/PaddlePaddle/PaddleOCR 1.QUICK INSTALLATION：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_en/installation_en.md 2.Quick start of Chinese OCR model:https://github.com/PaddlePaddle/PaddleOCR/blob/rel
人工智能基础理论介绍和发展现状及未来趋势
AI天才研究院
04-04 1654
人工智能（AI）是近年来科技界的热门话题之一，其发展历程复杂且迅速。当前，AI技术主要包括机器学习、深度学习、强化学习、迁移学习等若干核心技术。这些技术在理论和应用上各有侧重点，相互之间也存在诸多交叉和融合。本博文将深入探讨这些技术的原理、应用和挑战，提供全面系统的人工智能发展概览。人工智能的发展途径可以归纳为三大类：机器学习、深度学习和强化学习。三者的区别在于学习方式和应用场景。机器学习和深度学习主要是通过监督和无监督学习方式进行模型训练，而强化学习则通过试错和奖励机制进行智能决策。迁移学习是机器学习和深
GoogLeNet 输出日志中test部分的loss的理解
GL3_24的博客
07-18 1641
对GoogLeNet 输出日志中的loss的理解 在GoogLeNet 网络进行训练时，日志文件中输出如下内容，该内容是在训练过程中的测试部分输出的（即test过程） I0423 16:33:20.838305 19680 solver.cpp:404] Test net output #0: loss1/loss1 = 0.870371 (* 0.3 = 0.261111 loss) I...
从txt或者log文件中提取特定字符所在行，可用于loss曲线绘制
前进ing的博客
08-26 691
import matplotlib.pyplot as plt import numpy as np line = [] with open(r"./loss.log", encoding='utf-8') as f: # 从log文件中读出数据 for line1 in f: line.append(line1) datalist = [] for item in line: strl = item.split() datalist.append(str.
caffe中accuracy和loss用python从log日志里面获取
weixin_30865427的博客
11-26 104
import re import pylab as pl import numpy as np if __name__=="__main__": accuracys=[] losses=[] with open(r'/home/wxl/bnscallog.txt','r') as f: lines=f.readlines(); print len(li...
linux命令 acc,sed linux 命令 在线中文手册
weixin_29967445的博客
04-28 404
测试文件root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/bin/falsedaemon:x:2:2:daemon:/sbin:/bin/falsemail:x:8:12:mail:/var/spool/mail:/bin/falseftp:x:14:11:ftp:/home/ftp:/bin/false&nobody:$:99:99:n...
linux命令 acc,Linux命令详解:e2fsck(转)
weixin_31300407的博客
04-28 262
Linux命令详解:e2fsck(转)[@more@]功能说明：检查ext2文件系统的正确性。语 　 法：e2fsck [-acCdfFnprsStvVy][-b ][-B ][-l ][-L ][设备名称]补充说明：e2fsck执行后的传回值及代表意义如下：0 没有任何错误发生。1 文件系统发生错误，并且已经修正。2 文件系统发生错误，并且已经修正。4 文件系统发生错误，但没有修正。8 运作时发...
介绍PyTorch在ASR领域的基本概念和特点，然后介绍其核心算法，并根据具体的代码实例对其进行演示。最后给出未来的发展方向，展望下一步的研究机会。
AI天才研究院
08-13 98
PyTorch是一个基于Python的一个开源深度学习框架，被广泛应用于研究界、 industry界及学术界。PyTorch基于python语言和强大的GPU加速能力，其本质上就是一个轻量级的numpy库。跨平台：PyTorch可以运行于Linux，Windows，Mac OS X等多种系统环境中；GPU加速：PyTorch支持基于CUDA/cuDNN的GPU加速计算，可以显著提升模型训练和预测速度；灵活性：PyTorch提供了灵活的模型构建接口，方便用户自定义模型结构；
AI人工智能核心算法原理与代码实例讲解：智能系统
最新发布
AI天才研究院
11-04 874
引言 在当今技术飞速发展的时代，人工智能（AI）已经成为推动社会进步的重要力量。从智能家居到自动驾驶，从医疗诊断到金融预测，AI的应用无处不在，正深刻改变着我们的生活方式和工作方式。而AI的核心在于其算法，这些算法不仅决定了AI系统的性能，还反映了AI技术的理论基础。因此，深入理解和掌握AI的核心算法原理，对于任何希望在这一领域取得成就的人来说都是至关重要的
〖TensorFlow2.0笔记1〗TensorFlow2.x介绍和详细安装指南(Win&Linux)
AI新视界
04-03 1万+
Tensorflow Dev Summit 正式宣布 Tensorflow 2.0 进入 Alpha 阶段。 1、首先基于自己安装的Anaconda 创建环境一个尝鲜环境： conda create -n tf2.0 python=3.6 2、然后进入刚刚创建好的环境： conda activate tf2.0 3、执行下面的安装命令： pip install tensorflow...
Linux下ACC编码实例及说明
06-03
这是一款开源的音频编码程序——AAC，比较普通的编码算法而言，此程序编码效率高且稳定，对于开发音频通讯、视频会议等项目有参考借鉴意义。另，资源带说明文档和实例，通俗易懂。
在linux系统下打印出loss和accuracy，并保存图片到本地。
qq_45128278的博客
03-29 374
import matplotlib.pyplot as plt loss_list = [] accuracy_list = [] def main(): loss_list = [1, 2, 3, 4] accuracy_list = [3, 2, 1, 4] x1 = range(0, 4) x2 = range(0, 4) adam_lr=0.001 epochs=400 y1 = accuracy_list y2 = loss_li
读取log中的loss
qq_38335768的博客
06-14 396
读取loss
log_loss对数损失函数(Logarithmic Loss Function)的原理和 Python 实现
now
04-24 8575
官方文档https://scikit-learn.org/stable/modules/generated/sklearn.metrics.log_loss.html 原理 　　对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变体. 可用于评估分类器的概率输出.
22. 使用 awk / grep / head / tail 命令进行文本 / 日志分析 (/home/D/acc.log)
weixin_30414635的博客
03-25 133
一、awk #统计a-read-file 接口中，接口耗时超过0.007 秒的有多少个请求 D@Demon ~]$ awk '$7>0.007' acc.log | wc -l (-l 表示统计有多少行) 404 二、head 1、head 命令参数 -n 指定获取多少行 -v 输...
ACE提供的日志记录器
crearo的专栏
05-07 1852
一个后台服务程序，良好的日志系统是不可缺少的。通过日志系统我们可以代替debug程序对服务程序进行调试。更重要的是我们可以运行状态下对服务程序的状态进行监控和跟踪，帮助我们查找修正运行过程中出现的一些不可预料的错误和异常。ACE提供了强大的对日志系统的支持，能够方便的为我们的应用程序建立良好的日志系统。 基本的日志记录 ACE_Log_Msg类使用了类似p
从log文件中提取训练数据并生成指标图
安静会的博客
06-10 3991
最近打算把网络训练后的指标生成图片，但是网络训练时只写入log文件里， 现在又不想添加tensorboard对网络重新训练 于是打算从log文件中提取训练数据并生成指标图 # -*- coding:utf-8 -*- import re import matplotlib.pyplot as plt from matplotlib.ticker import MultipleLocato...
Linux grep根据关键字匹配前后几行
热门推荐
forever7107的博客
07-31 2万+
在Linux环境下，查看文件内容时，很多时候需要查看指定关键字的前后几行，如查看日志文件时，如果日志文件太大，想直接在Linux 终端中查看，可以grep ‘partten’ filename 进行过滤，如果想查看匹配行的前后几行，可通过在grep后面添加参数来实现，具体如下：#grep -A 5 'parttern' filename //打印匹配行的后5行 #grep -B 5 'partter
Linux 中 清理 .log 文件的 命令写出来
05-31
可以使用 `find` 命令和 `rm` 命令组合来清理 .log 文件。 具体命令如下： ``` find /path/to/logs -name "*.log" -type f -delete ``` 其中，`/path/to/logs` 是要清理的日志文件所在的目录；`-name "*.log"` 表示只删除扩展名为 .log 的文件；`-type f` 表示只删除普通文件，不包括目录等其他类型的文件；`-delete` 表示直接删除找到的文件。 上述命令将会删除指定目录下所有扩展名为 .log 的文件。请注意，该命令将直接删除文件，无法恢复，请谨慎使用。建议在执行前先备份需要保留的文件。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值