寒武纪
文章平均质量分 65
小军军军军军军
麻省理工备选生
展开
-
MLU370-M8运行llama3.2-11B手册
Llama 3.2-Vision多模态大型语言模型(LLM)集合是11B和90B大小(文本+图像输入/文本输出)的预训练和指令调优图像推理生成模型的集合。Llama 3.2-Vision指令调优模型针对视觉识别、图像推理、字幕和回答有关图像的一般问题进行了优化。在常见的行业基准上,这些模型的表现优于许多可用的开源和封闭式多模式模型。原创 2024-10-10 22:39:31 · 329 阅读 · 0 评论 -
MLU370-M8运行Qwen2-vl手册
Qwen2-VL-Chat 是由阿里巴巴开发的多模态大语言模型,它是 Qwen2-VL 系列的一部分,专门设计用于处理图像和文本的联合输入与输出。这个模型能够在视觉与语言任务中表现出色,比如图像描述、视觉问答、图像中的文字识别等。它的多模态能力使其能够理解并生成与图片和文本相关的复杂回答,甚至支持多轮对话和多图像比较(Qwen2-VL-Chat 的特点包括:多图像输入:支持同时处理多张图片,并能够根据用户的提示进行比对和回答。原创 2024-09-09 23:40:53 · 487 阅读 · 0 评论 -
yolov8/yolov10 MLU370 实现推理/单多卡训练!
本章主要操作以yolov8为主,但是yolov10用该操作也能直接适用,开干!原创 2024-08-15 23:37:12 · 736 阅读 · 0 评论 -
在MLU370运行CogVideoX-2b轻轻松松!
370跑cogvideo原创 2024-08-09 15:57:47 · 340 阅读 · 0 评论 -
MLU370运行glm4-9b-chat,30秒跑通!
在国产芯片运行GLM4-9B原创 2024-08-05 10:38:16 · 329 阅读 · 1 评论 -
【训练篇】MLU370-M8 完成 qwen1.5-7b-chat-lora训练及推理
本期我们采用魔塔的swift来完成qwen1.5-7b-chat的训练,除一些环境安装需要转换,其他的与N卡训练操作一致。原创 2024-06-30 22:22:50 · 673 阅读 · 0 评论 -
MLU370-M8 chattts-ui快速出击
模型默认采用魔塔路径下载,这里不做模型下载教学。驱动选择:5.10.22及以上。镜像选择:pytorch2.1。MLU体验感拉满了简直。原创 2024-06-06 14:28:32 · 378 阅读 · 1 评论 -
MLU370-M8 快速跑通 llama3-8B
MLU370运行llama3-8b原创 2024-04-19 10:32:08 · 830 阅读 · 8 评论 -
MLU370-M8 Cogvlm部署手册
修改cogvlm-chat/visual.py 【因为xformers适配状态中,我们将attention计算方式使用pytorch实现】修改basic_demo/cli_demo_hf.py代码【将default改成自己的绝对路径】参考https://www.zhihu.com/question/602057035。将下载后的模型拷贝到存储卷中,方便后续改绝对路径使用。启动会有点慢但是不会影响到后面的使用。pip install 即可。下载社区github代码。下期见byebye!原创 2024-03-04 18:53:26 · 860 阅读 · 1 评论 -
【工具篇】MLU370-M8部署langchain-chatchat大模型+RAG!
在往后得部署手册中,即会讲到如何部署,也会讲到如何跑通,用370的可以跟着搞,不用370的也可以看下如何部署,在GPU也是通用的。原创 2024-03-04 11:25:23 · 939 阅读 · 1 评论 -
寒武纪芯片MLU370-M8完成GLM2-6B多轮对话Ptuning-v2
前几篇讲到了有关大模型在寒武纪卡上推理,是不是觉得越来越简单了,接下来上干活知识,基于寒武纪卡完成大模型微调,以及后面还会讲到基于寒武纪卡完成数字人训练+推理,敬请期待。废话不多说,我们现在开始目前Mlu能跑几乎很多算法,下一期来一期数字人推理+数字人训练吧。原创 2023-10-25 13:50:20 · 774 阅读 · 1 评论 -
MLU370-M8轻轻松松跑通Qwen-7B-chat
通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。Qwen-7B系列模型的特点包括:1 大规模高质量预训练数据:我们使用了超过2.2万亿token的自建大规模预训练数据集进行语言模型的预训练。原创 2023-10-10 11:52:43 · 691 阅读 · 0 评论 -
什么!国产芯片MLU370-M8跑Chatglm2-6B!!
更强大的性能:基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B 在 MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等数据集上的性能取得了大幅度的提升,在同尺寸开源模型中具有较强的竞争力。更长的上下文。原创 2023-08-10 17:42:25 · 1134 阅读 · 4 评论