![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AIGC
文章平均质量分 92
以AIGC的理论、实践总结为主,介绍在工作项目中对aigc的各种尝试
算法驯化师
1. 多年面试官经验、欢迎咨询各类简历修改、面试经验、求职准备;
2. 混迹多个大厂搜索、推荐、广告、内容、数据挖掘、数据分析等多个岗位工作,目前大模型算法驯化师;
展开
-
【flash attention安装】成功解决flash attention安装: undefined symbol: _ZN2at4_ops9_pad_enum4callERKNS_6Tensor
在进行大模型训练时,我们通过为了解决内存采用策略来优化模型的性能,具体flash attention策略的原理可以自行去看论文,在实际的安装过程中坑太多了,最为经典的坑就是安装成功但是报各种各样的问题,最为经典的模型为目前最为火的模型为intervl看晚上很多的人说需要降低版本,因此,最后将版本降到2.1.0版本,至于高版本可不可以这个具体得看了,反正我调通了就没去试了。在暗疮flash-attn中常见。原创 2024-07-30 20:02:38 · 691 阅读 · 0 评论 -
【LLM-驯化】成功配置多模态大模型InternLM-XComposer微调环境
是一个多模态视觉-语言预训练模型,它结合了视觉和语言信息,用于理解和生成跨模态内容。这种模型在图像描述、视觉问答、视觉对话等任务中表现出色,具体的榜单效果评估如下所示:从上述的榜单可以看出intern-xcomposer2-vl-7b在模型的整体性能上面还是很能打的,不仅评估效果相对比较优化,同时模型的整体参数大小也不是特别的大,感兴趣的可以去在线体验接口进行访问,体验链接。原创 2024-07-11 09:44:07 · 392 阅读 · 0 评论 -
【大模型驯化-bug解决】成功解决subprocess.CalledProcessError: Command ‘[‘ninja‘, ‘-v‘]‘ returned non-zero exit sta
在进行大模型微调过程中,我们出现pytroch版本问题而导致的, 这个问题的出现与pytorch的版本有关,可以把pytorch版本降到1.5.0以下。但是这个解决方法治标不治本,有时候我们不可避免的需要使用高版本的pytorch,这就需要对pytorch做一些更改。原创 2024-06-24 16:08:41 · 857 阅读 · 0 评论 -
【大模型驯化-Prompt】企业级大模型Prompt调试技巧与batch批量调用方法
Prompt 工程是创建提示或指导像 ChatGPT 这样的语言模型输出的过程。它允许用户控制模型的输出并生成符合其特定需求的文本。prompt的设计一定要有逻辑和系统性,现在大模型对于文本的分类、抽取、生成、理解等nlp任务都特别的强大,在通用的领域里面基本不会比传统的模型效果差,但是受限于gpu资源和预算,目前对于大规模的任务很多都是通过大模型进行样本的修正和标注,在用小模型进行在线部署,后续如果性能提高、费用降低很多之前的小模型都会基于大模型进行任务的处理。原创 2024-06-21 22:54:57 · 1323 阅读 · 0 评论