- 博客(60)
- 收藏
- 关注
RSS订阅原创 Due to a bug fix in https://github.com/huggingface/transformers/pull/28687
whisper 模型推理错误
2024-06-05 10:52:58
495
原创 SWIFT介绍和学习(简单入门级别)
SWIFT（可扩展的轻量级微调基础设施）是一个可扩展的框架，旨在促进轻量级模型的微调和推理。它通过采用参数高效、内存高效和时间高效的方法，集成了各种高效微调方法的实现。SWIFT无缝集成到ModelScope生态系统中，并提供微调各种模型的能力，主要侧重于LLM和视觉模型。此外，SWIFT与PEFT完全兼容，使用户能够利用熟悉的PEFT接口来微调ModelScope模型。可以支持的微调方法及具体使用指导Swift是一个提供LLM模型轻量级训练和推理的开源框架。
2024-03-20 16:14:52
1713
原创 SWIFT环境配置及大模型微调实践
SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFT大模型微调实践SWIFT介绍参考：balabalaSWIFT环境配置基础配置conda create -n swift python=3.8pip install ms-swift[all] -U# 下载项目git clone https://github.com/modelscope/swift增量配置如果是运行qwen-audio，需要安装ffmpegapt-get updateapt-get in
2024-03-20 16:08:47
815
原创 wespeaker项目grpc-java客户端开发
非常重要的原始参考资料：链接:ps：使用grpc协议的其它项目python/go可以参考git hub目录client/tree/main/src/grpc_generated下的其它项目。
2024-02-01 17:31:22
729
原创 linux下安装JRE
地址：https://www.java.com/zh-CN/download/manual.jsp。从上面找到Linux x64，即可下载到本地。拷贝文件到/usr/local/java。从本地上传到服务器目录。
2024-01-24 15:49:01
912
原创 简单介绍二分类问题评价指标
TPR如果高，FPR也容易高；极端情况下，所有样例均被预测为正例，那TPR=1；记忆：拒识率/拒真率；也就是小偷和主人都没开锁成功的情况下，主人没开锁成功的比率；AUC曲线越靠近左上方，越好，说明在TPR比较高的时候，也能保证FPR尽量低；AUC曲线下方的面积。
2023-11-17 11:23:45
137
原创 多分类loss学习记录
AM-softmax : 将A-softmax中的角度乘法，改为了cos角度之后做减法，好像实现等于CosFace，只不过分析角度不同。arcface sphereface cosface都在上面的基础上添加了margin，但是margin添加的位置不同；A-softmax ：a=Angular，归一化||w||为1，b=0，W*x 变成了cos(theta)，只优化角度。cosface直接作用于cos角度计算之后，做减法，使得(cos角度)越大越好;arcface直接作用于角度加法，使得类内角度尽量小；
2023-10-27 11:39:43
791
原创 RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
cudnn用来加速模型，benchmark打开会对卷积网络进行加速推理，速度大约是2倍？benchmark关闭，不对卷积网络进行加速，上述卷积代码不报错；在相同的环境，使用相同的代码跑，前几天不报错，今天突然报错了；理论上讲不是CUDA、cudnn、pytorch版本的问题；在模型加载为分布式模型后，添加 torch.backends.cudnn.benchmark=False，可解决问题；解释：如上所示在某个文件中的F.conv1d报错。
2023-10-23 18:00:36
465
1
原创 DistributedDataParallel数据不均衡
在使用 DistributedDataParallel 进行数据并行训练时，每次反向传播都需要执行 all_reduce 操作以同步各个进程的梯度。all_reduce 需要进程组中的所有进程参与，如果某一个进程没有执行 all_reduce（一个进程的输入较其他进程少），那么其他进程将会挂起或出错（取决于后端，nccl 后端会挂起，gloo 后端会报错）。
2023-10-20 16:18:17
455
原创 json.dumps中文乱码问题
json加载数据str-》jsoncheck_anno = json.loads(check_anno)json输出数据json-〉strasr = json.dumps(uttid_asr[key], ensure_ascii=False)保证中文不乱码
2023-08-02 18:00:13
77
原创 mac软件安装
1.进入Mac应用程序下，找到刚刚安装好的Beyond Compare，路径如下/Applications/Beyond Compare.app/Contents/MacOS。首先下载Beyond Compare最新版本，链接如下：https://www.scootersoftware.com/download.php。链接：https://www.jianshu.com/p/596b4463eacd。2.修改启动程序文件BCompare为BCompare.real。4.保存BCompare文件。
2023-06-07 16:52:35
57
原创 linux系统常见操作需求
停掉 所有 在显卡上运行的程序, ERR会消失设置显卡的persistence mode, 按照这个教程.限制最大的运行功率不要太大GPU重启输入上述第一个命令时报错错误：error while loading shared libraries: libtirpc.so.1解决方法：可能得自己安装。不解决。
2023-06-07 16:49:24
54
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人