- 博客(10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 yolov8-seg分割踩坑：关于model保存含掩码结果与返回值results中的mask结果不一致发生偏移的问题及解决方法
木彳-CSDN博客提供的代码实例解读，免去了debug的麻烦。yolov8-seg后处理，代码示例解读_yolov8分割结果处理-CSDN博客t=N7T8yolov8-seg后处理，代码示例解读_yolov8分割结果处理-CSDN博客https://blog.csdn.net/qq_22734027/article/details/134051978。
2024-02-29 13:45:03
3268
4
原创 pycharm链接服务器，映射路径无误-运行程序时出现No such file or directory：解决办法
解决：运行配置-编辑-添加路径映射。检查了映射路径没问题。
2024-01-16 14:34:45
413
1
原创 多卡微调全参qwen-14b ubuntu22.04 8*4090 踩坑简单记录
最后序列长度恢复为512，batchsize恢复为16，梯度累计为16，成功跑起来。每张卡可以占满，内存占用520G。调小batchsize=8,调小batchsize=4，调小batchsize=1，都不起作用。model参数+优化器+梯度+中间计算变量即4份model参数，我们需要112g的显存。调小序列长度=1024，调小序列长度=256，不起作用。我们的8*4090 8*24G=192G显然是远远足够的。配置zero-3，不起作用。，即在zero3的基础上启用cpu计算，
2024-01-11 17:00:14
2749
4
原创 qwen72b-int4踩坑记录 ubuntu18.4 A100
提前安装ninja，否则编译过程会持续很长时间，pip install flash-attn --no-build-isolation。# 如果flash-attn版本高于2.1.1，下方无需安装。直接安装cuda多次尝试失败！，不要勾选安装驱动！1、安装cuda、gpu驱动、torch。# 下方安装可选，安装可能比较缓慢。统一cuda12.1版本，完美支持。继续安装如下，不然依旧会报警告！gpu驱动可以系统自己安装！版本及其CUDA版本要求严格。未同步版本前，报显存错误。
2024-01-02 17:44:51
946
原创 LLM记录-知识增强部分
RAG 方法都遵循着共同的范式，即： query+contert→LLM ，其中 query 表示用户的输入，context 表示检索获得的补充信息，然后共同输入到 LLM 中，可以认为这是一种检索前置的被动的增强方式。判断是否需要额外检索事实性信息（retrieve on demand），仅当有需要时才召回平行处理每个片段：生产prompt+一个片段的生成结果使用反思字段，检查输出是否相关，选择最符合需要的片段；再重复检索生成结果会引用相关片段，以及输出结果是否符合该片段，便于查证事实。
2023-12-25 15:34:52
870
原创 解读BERT及实现
'中新网9月10日电 综合英媒报道，当地时间9月10日，英国国王查尔斯三世已经批准，英国女王伊丽莎白二世葬礼当天将是英国的公共假日。# 基于前面提到的简化，segment id序列是固定的：[0, 0, 0, ..., 1, 1, 1, ...]# 对于每个句对而言，position id序列是固定的：[0, 1, 2, 3, ...]E_{Segment}：总共只有两种不同的embedding，第一个句子A是一种，第二个句子B是另一种。'英女王的葬礼日期目前暂未确定，但《卫报》称，葬礼预计为9月19日。
2023-12-22 11:31:39
417
原创 LLM记录-常见问题部分
LLMs复读机问题指的是模型倾向于不适当地复制用户输入的文本或者在回复中重复使用相同的句式和短语。这种倾向可能源自模型在处理输入时的一种简便路径，即模仿而不是创造性地响应。生成的内容往往缺乏变化和新颖性，这使得交互体验变得预测性强且单调。CRF 的核心思想是训练 Transitions 矩阵，该矩阵主要是刻画 tag 与 tag 之间的变化关系。CRF的作用是通过刻画这种关系来约束模型的生成，比如 BIO， B后面是I， I前面不能是O等。CRF 的损失函数是 正确路径的得分 - 所有路径的得分和。
2023-12-15 10:29:10
472
原创 LLM优化--加速GPT-fast
官方文档：torch.compile — PyTorch 2.1 文档PyTorch 2.0加入了一个新的函数，叫做torch.compile()，能够通过一行代码对已有的模型进行加速。这个函数具备很强的通用性，不仅能对普通PyTorch的模型进行加速，还能对用户自定义的函数和huggingface上的模型进行一键加速。只需要简单的一句torch.complie，便可以完成对运行函数的加速优化，甚至可以做装饰器使用。
2023-12-07 10:27:10
271
原创 使用llama.cpp在linux cuda环境部署llama2方法记录及遇到的问题
添加 CUDA_DOCKER_ARCH参数，可先尝试改为=all，无法解决的话，其他参数值自行对应cuda尝试，如：compute_75，使用make，nvcc为cuda安装位置。因硬件资源足够，则不j继续进行量化。
2023-12-04 12:01:50
1327
1
原创 tensorfloe2.X_gpu 关于labelimg生成recoed文件问题
1.如何使用labelimg工具打开进入自己使用的虚拟环境activate name#自己的环境名字然后直接pip，不用看网上其他的什么zip安装麻烦的不行还报错，参考：(1条消息) labelImg使用教程_G果的博客-CSDN博客_labelimg）pip insatll labelimgpip好后，直接命令行输入lanelimg打开工具labelimgopen打开单个img图像文件，open Dir打开图像文件夹，注意的是：ctrl+s保...
2021-08-17 12:16:49
231
1
空空如也
cvs转换generate_tfrecord文件问题
2021-08-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人