寒武纪
文章平均质量分 70
小军军军军军军
麻省理工备选生
展开
-
MLU370-M8 快速跑通 llama3-8B
MLU370运行llama3-8b原创 2024-04-19 10:32:08 · 301 阅读 · 1 评论 -
MLU370-M8 Cogvlm部署手册
修改cogvlm-chat/visual.py 【因为xformers适配状态中,我们将attention计算方式使用pytorch实现】修改basic_demo/cli_demo_hf.py代码【将default改成自己的绝对路径】参考https://www.zhihu.com/question/602057035。将下载后的模型拷贝到存储卷中,方便后续改绝对路径使用。启动会有点慢但是不会影响到后面的使用。pip install 即可。下载社区github代码。下期见byebye!原创 2024-03-04 18:53:26 · 592 阅读 · 0 评论 -
【工具篇】MLU370-M8部署langchain-chatchat大模型+RAG!
在往后得部署手册中,即会讲到如何部署,也会讲到如何跑通,用370的可以跟着搞,不用370的也可以看下如何部署,在GPU也是通用的。原创 2024-03-04 11:25:23 · 528 阅读 · 1 评论 -
寒武纪芯片MLU370-M8完成GLM2-6B多轮对话Ptuning-v2
前几篇讲到了有关大模型在寒武纪卡上推理,是不是觉得越来越简单了,接下来上干活知识,基于寒武纪卡完成大模型微调,以及后面还会讲到基于寒武纪卡完成数字人训练+推理,敬请期待。废话不多说,我们现在开始目前Mlu能跑几乎很多算法,下一期来一期数字人推理+数字人训练吧。原创 2023-10-25 13:50:20 · 507 阅读 · 1 评论 -
MLU370-M8轻轻松松跑通Qwen-7B-chat
通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。Qwen-7B系列模型的特点包括:1 大规模高质量预训练数据:我们使用了超过2.2万亿token的自建大规模预训练数据集进行语言模型的预训练。原创 2023-10-10 11:52:43 · 424 阅读 · 0 评论 -
什么!国产芯片MLU370-M8跑Chatglm2-6B!!
更强大的性能:基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B 在 MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等数据集上的性能取得了大幅度的提升,在同尺寸开源模型中具有较强的竞争力。更长的上下文。原创 2023-08-10 17:42:25 · 935 阅读 · 4 评论