![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI测试
qq_29707567
这个作者很懒,什么都没留下…
展开
-
transformers 中trainer的用法
参数参考:原创 2023-09-13 16:49:00 · 305 阅读 · 0 评论 -
【deepspeed】 gpt模型训练报错run_clm_no_trainer.py: error: unrecognized arguments: --local-rank=0
报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError。测试场景:使用deepspeed框架训练gpt模型。原创 2023-09-13 17:04:39 · 795 阅读 · 0 评论 -
【deepspeed】【训练】【交互】【wandb】训练过程中的wandb交互如何去除
完整的路径是这样的:/usr/local/lib/python3.8/dist-packages/transformers/integrations.py。log中没有显示脚本的完整路径,顺着log中前面的脚本路径,找到了这个脚本,是和框架的其他py文件在一个目录下的。原创 2023-09-14 17:40:35 · 557 阅读 · 0 评论 -
onnxruntime 性能调优 EP
OnnxRuntime 性能调优 - luoganttcc - 博客园 (cnblogs.com)原创 2023-03-30 18:45:14 · 214 阅读 · 0 评论 -
docker file使用方法
build-arg: 指定传入的参数,此处为build的tag版本号,传进去变量,以免每次修改dockerfile的内容。一、背景:每次build的镜像中包不全,需要手动安装一些apt包和python包。二、dockerfile内容,命名为Dockerfile_test。# -t: 安装包之后最终生成的docker image的tag。原创 2022-12-19 20:20:37 · 371 阅读 · 0 评论 -
量化环境搭建方法及过程中遇到的问题
2.进入镜像【区别:第一次用的是基础镜像、第二次用的是装好包的镜像;区别2:第一次是映射进去一张卡,第二次是全部映射进去,2张卡都是NV的,实际使用的是第一张卡】1.确定使用的基础镜像。原创 2022-10-31 09:49:59 · 536 阅读 · 0 评论 -
robotframework
a.不要用ssh方式,用http方式,目前不支持ssh方式。b.在本地磁盘下创建文件夹用来保存我们的远程git 项目。b.http地址中需要手动增加端口号码,不然拉不到。复制我们的github 项目的https 地址。克隆我们远程仓库的项目。一、从git上拉代码。原创 2022-10-28 17:30:46 · 348 阅读 · 0 评论 -
【待试验】使用dockerfile方式安装conda
用于激活环境,conda activate命令无效。原创 2022-10-25 10:07:27 · 980 阅读 · 0 评论 -
conda:安装python
1. install conda:https://www.digitalocean.com/community/tutorials/how-to-install-anaconda-on-ubuntu-18-04-quickstart2. conda upgrade --allhttps://codeantenna.com/a/UGIIQVFaJW原创 2022-10-13 17:14:16 · 1068 阅读 · 0 评论 -
cuda编程笔记
总线带宽设计的非常宽,高速路很宽,但是和gpu处理能力相比还不是很充分(gpu处理能力是cpu的10倍以上)constant memory:固定值存储器 为了多个线程使用某个不变的数据 比如公司的公示牌、公告, 只读的不能写。每个线程员工可以干什么:可以使用个人私有的寄存器、整个线程块共享的资源、global memory公共的存储器。block内部的线程可以共享存储器(科室内部的员工可以步调一致做事情、共享硬件资源)只留下干活的人,且每个干活的人配置很多个干活的手。原创 2022-10-13 17:11:24 · 513 阅读 · 0 评论 -
GPU的一些基本概念
1、cuda core、smNvidia GPU架构 - Cuda Core,SM,SP等等傻傻分不清?_asasasaababab的博客-CSDN博客_cuda sp2、GPU&CUDA几个基本概念___Sunny__的博客-CSDN博客原创 2022-09-08 11:21:00 · 412 阅读 · 0 评论 -
ubuntu修改apt源为阿里源
4、lsb_release -a #查看系统内核版本号。原创 2022-08-15 13:40:01 · 913 阅读 · 0 评论 -
CUDA failure 999: unknown error
重新加载nvidia内核模块,输入以下命令:原创 2022-08-12 15:39:25 · 1684 阅读 · 0 评论 -
ORT执行推理如何指定device编号
说明:编号从0开始,通过上面的方式指定后,推理任务会在第2张卡中运行。说明:通过device_id来指定卡号,可以使得推理在卡0上执行。原创 2022-08-12 15:34:31 · 996 阅读 · 0 评论 -
vim 查看文件编码
查看文件系统格式:1:set ff?修改为Unix系统格式:1:原创 2022-08-03 18:23:58 · 1448 阅读 · 0 评论 -
ubuntu环境安装多个python3版本
方法2【conda安装成功,但是只有一个版本,之前的版本没有了】https//blog.csdn.net/weixin_43402775/article/details/111088855。方法1【没成功】https//blog.csdn.net/weixin_45717886/article/details/123992330。方法3【待试验】https//blog.csdn.net/DaqianC/article/details/101135872。...原创 2022-07-26 15:52:51 · 299 阅读 · 0 评论 -
AI各类网络模型的主要功能
1、功能解决给定低分辨率(LR)图像生成高分辨率(HR)图像的问题,通常称为单图像超分辨率重建(SISR)。SISR广泛应用于计算机视觉应用,从安全和监控成像到医疗影像(需要更多的图像细节)。与分类任务不同,语义分割需要判断图像每个像素点的类别,进行精确分割。1、功能人脸预测,预测结果中包含分类预测、人脸框预测、人脸关键点预测;一、SegmentationUNet分割。1、功能识别图片中物体类别并框出具体位置。1、功能识别图片中的物体类别。六、detection网络。四、NLPBERT。......原创 2022-07-22 14:20:47 · 1147 阅读 · 0 评论 -
python多线程编程
目前还在学习中,记录一下网友的分享,感谢分享,稍后学习明白些再整理心得。原创 2022-07-19 16:36:13 · 342 阅读 · 0 评论 -
gpgpu学习推荐书籍
opencl异构计算。原创 2022-07-18 16:09:40 · 184 阅读 · 0 评论 -
linux多线程
参考文章:在Linux系统中使用Shell实现多线程运行任务(多任务并发执行) 2022-05-30 - 简书原创 2022-07-12 18:27:01 · 158 阅读 · 0 评论 -
shell学习笔记
shell原创 2022-06-16 10:19:51 · 60 阅读 · 0 评论 -
图片格式无损转换的方法
图片格式转换 无损转换原创 2022-06-07 17:33:49 · 2403 阅读 · 0 评论 -
nvidia-smi:gpu资源使用情况监控(动态获取gpu利用率、内存利用率、温度等参数)
1、显示内存、gpu的占用率,动态显示成列表形式,并输出到csv表格中。lms是毫秒为粒度刷新 如果秒的话,参数设置为l就可以了nvidia-smi -lms --query-gpu=timestamp,pstate,temperature.gpu,utilization.gpu,utilization.memory,memory.total,memory.free,memory.used --format=csv | tee gpu-log.csv界面输出和csv文件内容如下:2、nvidia-smi原创 2022-06-07 09:50:58 · 7867 阅读 · 0 评论 -
AI 图像预处理、后处理的主要操作
一、transforms 中的各个预处理方法进行介绍和总结transforms 中的各个预处理方法进行介绍和总结_Offer.harvester的博客-CSDN博客_transform 预处理二、原创 2022-06-06 17:30:20 · 961 阅读 · 0 评论 -
nvidia-smi参数说明及显存高gpu低的原因
一、nvidia-smiDriver Version和CUDA Version不是一回事 CUDA Version实际是环境变量中Path配置的,如果一台机器同时装了多个CUDA,那么这里的CUDA Version显示的是Path中靠前的CUDA版本(和nvcc -V的显示是一样的) 下方的GPU使用信息网上有很多资料,但是比较靠谱的资料是去官网查手册,这里不再赘述,只挑几个比较重要的说一下: Temp = Temperature,温度 Perf = Performance,性能,P原创 2022-05-27 09:10:58 · 4625 阅读 · 0 评论 -
jenkins
1、执行python不输出日志的解决办法Jenkins 执行python脚本日志不实时输出_qq_42270373的博客-CSDN博客_jenkins日志实时打印2、执行shell脚本不输出日志原创 2022-03-11 11:04:18 · 1380 阅读 · 0 评论 -
AI测试自动化脚本:解析结果txt文件字段并保存至excel文件
记录一下,脚本贴上来,方便后面用解决的问题包括:1、获取指定路径下的文件名称 2、匹配字符串 3、txt文件读指定行、匹配字符串 4、根据单元格内容查找excel中单元格所在的行号************************************代码分隔符**************************# coding:utf-8import xlwtimport xlrdimport pandas as pdfrom os import listdir'''说明:1、.原创 2022-03-09 15:40:13 · 2086 阅读 · 0 评论 -
【done】git拉取gitlab上的项目
很久之前配置过 换了电脑拉不下来 在网上查了下 用第一种方法即可 密码使用的是gitlab仓储的密码 不确定没有密码的话是否ok 感谢网友分享图文详解如何使用Git拉取GitLab上的项目-百度经验 (baidu.com)(54条消息) Git教程 SSH keys配置_https://lolitasian.github.io/ | https://lolitaann.gitee.io/-CSDN博客_github shh...原创 2022-03-04 06:54:08 · 259 阅读 · 0 评论 -
脚本处理:shell及notepad++
1、shell修改文件名称,将某段字符串开始之后的部分去除#! /bin/bashfor file in \ mxnet_darknet53_int8_rgb_kl_divergenceresnet50_top5_values_2022-02-25-10-33-37.txt.txt \ mxnet_DenseNet121_int8_rgb_kl_divergenceresnet50_top5_values_2022-02-25-10-31-18.txt.txt mv ${file}...原创 2022-02-26 12:00:20 · 1713 阅读 · 0 评论 -
【todo】docker和宿主机之间的文件交互
实际遇到的问题是这样的:准备在docker中搭建测试环境,在docker中需要用git拉仓储的代码,发现不能拉取,因而可能需要换一种方式,在docker外拉文件,之后把文件传到docker中来,在网上搜到了一篇文章,准备明天试验一下,感谢网友分享docker从容器里面拷文件到宿主机或从宿主机拷文件到docker容器里面 - 末 - 博客园...原创 2022-01-26 20:07:08 · 879 阅读 · 0 评论 -
【已解决】centos下CMAKE编译报gcc版本冲突
问题解决原创 2022-01-26 11:24:34 · 8646 阅读 · 0 评论 -
【Done】如何在 Centos7 中修改yum源
参考:如何在 Centos7 中修改yum源(三种方法) - 徐小方 - 博客园 (cnblogs.com)yum源配置方法一(阿里云源)1) 安装wgetyum install -y wget2)备份/etc/yum.repos.d/CentOS-Base.repo文件cd /etc/yum.repos.d/mv CentOS-Base.repo CentOS-Base.repo.back3)下载阿里云的Centos-6.repo文件wget -O C..原创 2022-01-19 11:08:00 · 431 阅读 · 0 评论 -
【持续收集】linux下使用docker的命令
参考1:包括redis、ngnix、myql原创 2022-01-19 09:25:37 · 780 阅读 · 0 评论 -
【Done】centos7环境安装docker
成功安装docker了,感谢网友分享,记录一下以备后用安装docker(参考地址:Centos7上安装docker - 风止雨歇 - 博客园 (cnblogs.com))1. 查看你当前的内核版本,centos版本高于3.10方可支持dockeruname -r2. 使用root权限登录centos,确保yum包更新到最新sudo yum update3. 卸载docker旧版本sudo yum remove docker docker-common docker-selinux原创 2022-01-18 20:48:02 · 56 阅读 · 0 评论 -
【todo】AI测试(-)TVM安装
python测试脚本中有用到tvm包,初步了解是一种数学模型,在window机上安装python 的tvm包没有成功,在网上查阅linux环境下的tvm比较多,目前还没有试验,稍后研究并尝试下法1、安装TVM,目前还没有试验(84条消息) Linux下安装TVM_Ahuier21-CSDN博客_安装tvm法2、(84条消息) tvm python 安装_无尽的Bug-CSDN博客_python tvm...原创 2022-01-16 19:21:38 · 967 阅读 · 0 评论