深度学习
文章平均质量分 89
RolexChan
这个作者很懒,什么都没留下…
展开
-
闻达用RWKV部署在Linux上 以Ubuntu为例 从入门到放弃
简介闻达是一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题。针对特定环境的内容生成是LLM使用中的一项重要应用,实现这一目的,主要有全量微调、lora 微调、和本项目方法。但个人没有做全量微调的,lora 微调只能牺牲基础能力换单任务效果(用 6B 模型 lora 调出来的单任务效果,专门设计一个 0.5B 模型也能实现,且推理成本更低)。原创 2023-07-07 21:24:54 · 2839 阅读 · 2 评论 -
双4090显卡之间带宽 Nvidia官方测试用例
====测试双4090显卡之间带宽====参考具体项目:https://github.com/NVIDIA/cuda-samples/tree/master/Samples/5_Domain_Specific/p2pBandwidthLatencyTest原创 2023-05-10 04:47:03 · 2596 阅读 · 0 评论