自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

测试人的成长日志

每个人的成长,都是与自己的一场较量,不辜负时间的馈赠,让每一天都有所收获

  • 博客(201)
  • 收藏
  • 关注

原创 arm架构下安装conda

2.1 确认系统架构uname -m2.2 根据架构下载对应的conda安装文件。

2024-05-11 14:33:48 489

原创 awk 获取分隔后的最后一个字符

文本示例:比如log中这样有一行文本,通过grep某个关键字得到了log中的这样一段文本,想获取这个文本最后的时间戳,可以通过下面的方式来得到。

2024-03-22 10:02:33 433

原创 RIDE控制台中文显示为乱码问题解决方案【版本1.7.4.1】

C:\Users\user_name\AppData\Roaming\Python\Python37\site-packages\robotide\contrib\testrunner\testrunnerplugin.py文件中的第80行修改,改为utf-8。

2024-03-20 16:37:19 271

原创 robotframework 时间转换成秒

命令:使用关键字convert time可以直接转换。

2024-03-05 17:43:49 398

原创 robotframework-去除字符串左侧的0的方法

参考文章:https://www.cnblogs.com/xiaodouzhou-123/p/10333759.html

2024-03-01 16:50:07 346

原创 修改docker默认存储位置【高版本的docker】

如"data-root": "/mnt/hdd1/docker"修改/etc/docker/daemon.json添加新的路径。

2024-03-01 15:56:46 711

原创 Docker内查看Linux版本的几种方式

1.查看Linux内核版本。2.查看Linux系统版本。

2024-01-30 15:33:10 484 1

原创 ai训练总结

没有精度值,看loss值,越来越小,收敛到一定规模(pretrain 0.00x,finetune收敛到1.7~1.8。参数规模:pretrain全参数量一起训练、lora是使用一部分参数来训练。pretrain和finetune的区别。batchsize算法:4*1*8卡。loss:收敛越来越小。

2024-01-08 19:10:24 445

原创 【todo】快速下载数据集的方法

参考地址。

2024-01-03 17:41:27 388

原创 【linux】使用split命令拆分tar.gz 压缩包

https://blog.csdn.net/u011035397/article/details/119966882#:~:text=%E6%93%8D%E4%BD%9C%E6%AD%A5%E9%AA%A4%20%EF%BC%881%EF%BC%89%E6%89%93%E5%8C%85%E6%96%87%E4%BB%B6%EF%BC%9A%20tar%20-cvf%2020190816.tar%2020190816%20%EF%BC%882%EF%BC%89%E5%88%86%E5%89%B2%E6%96%

2023-12-27 16:48:16 732

原创 ubuntu修改系统默认启动的内核

如上面截图中的情况, 将GRUB_DEFAULT=2 ,修改为GRUB_DEFAULT=4。或者有2级菜单也就是有子菜单,希望修改的默认系统内核在二级菜单中。方式3:如果目标内核是在二级目录中的话,则修改为这样的样式:GRUB_DEFAULT="1> 4"希望修改系统more进入的内核,比如下图中当前进入到了88,希望进入58。方式2: 在配置文件中,不修改序号,修改为具体的系统名称。方法2:bmc中看启动选择系统内核页面中的层级及顺序。2、第一步:查看系统的内核版本有哪些以及顺序。4、修改之后更新生效。

2023-12-11 14:44:46 888

原创 docker安装

安装方法参考:Ubuntu Docker 安装 | 菜鸟教程

2023-12-01 10:08:24 252

原创 训练环境搭建过程中遇到的一些问题

在引用包的语句前面增加包的路径:from yolox.core import launch。

2023-11-09 18:36:51 134

原创 正则表达式中re.match、re.search、re.findall的用法和区别

这位作者的例子写的非常好,记录一下,目前用到的比较多的是findall。

2023-10-09 15:05:25 147

原创 sed -i 使用变量进行替换

例子:将文件1.txt中的字符串 "cores":"" 替换成字符串 "cores":"1"命令:sed -i 's/"cores":""/"cores":"1"/g' 1.txt。3、如果替换的字符串内本身有双引号,需要将双引号进行转义。方法1、将变量外面用单引号、双引号的方式括起来。二、替换的字符串不是固定的字符,为一个变量。2、变量的地方用单引号和双引号共同括起来。1、最外层仍然用单引号括起来。

2023-10-07 15:44:51 1019

原创 模型训练测试用例设计&结果分析

loss、fps处理速度。time-处理时间和速度。

2023-09-27 18:40:19 109

原创 python 正则表达式提取字符串

一、特殊字符-需要转义。

2023-09-25 14:08:46 2988

原创 [RF学习记录][参数读取]从yaml文件读取参数变量

robotframework支持从yaml文件读取变量,对于比较多的参数,可以在yaml文件中定义好,在robot脚本中引用。文件内容如下,注意,变量和变量值之间要以4个字符分开。2、robot文件头中引入定义好的yaml文件。1、定义yaml文件。

2023-09-22 16:59:03 587

原创 [RF学习记录][ssh library][execute Command】关键字的返回值

有时候需要判断通过ssh在远程机器上执行的命令是否正常,因为。

2023-09-22 10:32:52 464

原创 【多卡训练报错】:The server socket has failed to listen on any local network address.

原因:训练的时候,已经有一张卡在执行训练,第二张卡执行训练任务时,使用了同一个端口。解决办法:修改第二张卡的端口号,与第一张卡使用的端口号不重复即可。

2023-09-18 15:40:21 3992

原创 make & make install

用于bailinux源码安装软件,一般下载源码包得du到文件:xxxx.tgz。

2023-09-15 18:27:27 112

原创 gdb输出记录到文件中

2、#开启日志:将gdb中执行的指令和对应的输出记录下来,默认输出文件至当前目录,文件名为gdb.txt。1、进入gdb模式的某个进程中。3、#查看当前进程有哪些线程。4、#查看所用线程堆栈信息。

2023-09-15 16:38:05 516

原创 【待解决】报错:gpt模型训练的时候,有报错的torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

pytorch多GPU并行的问题_torch.distributed.elastic.multiprocessing.errors.c-CSDN博客

2023-09-14 18:38:06 1426 1

原创 【deepspeed】【训练】【交互】【wandb】训练过程中的wandb交互如何去除

完整的路径是这样的:/usr/local/lib/python3.8/dist-packages/transformers/integrations.py。log中没有显示脚本的完整路径,顺着log中前面的脚本路径,找到了这个脚本,是和框架的其他py文件在一个目录下的。

2023-09-14 17:40:35 507

原创 【deepspeed】 gpt模型训练报错run_clm_no_trainer.py: error: unrecognized arguments: --local-rank=0

报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError。测试场景:使用deepspeed框架训练gpt模型。

2023-09-13 17:04:39 741

原创 transformers 中trainer的用法

参数参考:

2023-09-13 16:49:00 262

原创 gdb调试、运行程序

参考文章:一文教你快速上手GDB程序调试 - 知乎 (zhihu.com)

2023-09-11 13:52:49 82

原创 robotframework 获取当前时间

命令:${time}= Get Current Date result_format=%Y%m%d%H%M%S。日期时间显示结果显示形式:20230908102553。日期时间戳结果显示形式:169408381914。1、获取年月日时分秒格式的数据。2、获取时间戳形式的数据。

2023-09-08 10:35:53 870

原创 正则表达式的用法

1、参考文章。

2023-09-07 18:04:53 60

原创 【ssh 安装报错】Couldn‘t create temporary file /tmp/apt.conf.664cgQ for passing config to apt-key

ps -e |grep sshd #查看ssh服务是否启动 -e查看全部进程。apt install openssh-server #安装openssh-server。service ssh start #启动openssh-server。service ssh status #查看ssh运行状态。安装命令:apt install openssh-server。安装ssh的时候报错,记录一下解决办法。

2023-08-30 17:07:25 374

原创 如何评估模型训练的性能

训练的性能主要看每个epoch使用的时长。

2023-08-29 11:33:53 85

原创 【deepspeed】deepspeed学习资料

记录一些deepspeed学习过程中的好文章。

2023-08-25 14:54:32 314

原创 docker 命令

docker cp test01:/mnt/test02.txt /mnt/ #由docker内向docker外拷贝。docker tag imageid dockernewname:tag #为docker重命名、加标签。docker load -i dockername #把tar包load下来,load成镜像。docker cp 1.txt test01:/mnt/ #由docker外向docker内。docker rmi modelzoo:v0429 #删除docker。

2023-08-24 19:04:13 991

原创 linux笔记

docker cp test01:/mnt/test02.txt /mnt/ #由docker内向docker外拷贝。docker tag imageid dockernewname:tag #为docker重命名、加标签。docker load -i dockername #把tar包load下来,load成镜像。docker cp 1.txt test01:/mnt/ #由docker外向docker内。2、为docker加标签、重命名。3、docker提交成镜像。7、启动、重启、停止、进入。

2023-08-24 19:01:40 349

原创 git笔记

参考文章:git笔记 - 咪啪

2023-08-23 14:42:13 31

原创 moba登录不进去提示修改问题问题解决方式

安装moba后,运行时运行不起来,提示输入密码,安装、卸载多个版本都不行。使用ResetMasterPassword工具进行重置主密码。

2023-08-21 17:11:43 152

原创 【deepspeed】deepspeed多机多卡训练配置方法参考

deepspeed多机多卡训练踏过的坑 - 知乎

2023-08-09 16:07:09 2671

原创 python 找不到本地的python依赖包的解决办法

python 找不到本地的python依赖包时,可以在依赖包的目录下创建一个名字为__init__.py的空文件来解决。

2023-08-08 18:21:02 407

原创 nvidia apex安装方法

注意:安装依赖包packaging,安装后仍提示找不到这个包,后通过上面的安装命令解决。2、安装时提示torch版本不匹配,更新了torch版本到2.0.0。1、这3个安装命令尝试都没有成功。三、过程中遇到的问题。

2023-08-08 18:19:41 933 1

原创 gpu 内存泄漏测试方法

定义:HBM(High Bandwidth Memory),意为高带宽存储器,是一种面向需要极高吞吐量的数据密集型应用程序的DRAM,HBM的作用类似于数据的“中转站”,就是将使用的每一帧,每一幅图像等图像数据保存到帧缓存区中,等待GPU调用。当进程稳定运行后,各指标的数据应保持稳定,如果数据的曲线出现了数据增长、缓慢增长、跳涨、波动、抖动等不稳定情况,可能存在内存泄露的问题。2、表示进程的常驻内存大小,准确表示当前有多少物理内存被这个进程消费,这个和MEM是对应的.查询方式:通过gpu的smi查看。

2023-07-27 16:36:31 433

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除