大模型
文章平均质量分 67
小军军军军军军
麻省理工备选生
展开
-
MLU370-M8 快速跑通 llama3-8B
MLU370运行llama3-8b原创 2024-04-19 10:32:08 · 303 阅读 · 1 评论 -
MLU370-M8 Cogvlm部署手册
修改cogvlm-chat/visual.py 【因为xformers适配状态中,我们将attention计算方式使用pytorch实现】修改basic_demo/cli_demo_hf.py代码【将default改成自己的绝对路径】参考https://www.zhihu.com/question/602057035。将下载后的模型拷贝到存储卷中,方便后续改绝对路径使用。启动会有点慢但是不会影响到后面的使用。pip install 即可。下载社区github代码。下期见byebye!原创 2024-03-04 18:53:26 · 599 阅读 · 0 评论 -
【工具篇】MLU370-M8部署langchain-chatchat大模型+RAG!
在往后得部署手册中,即会讲到如何部署,也会讲到如何跑通,用370的可以跟着搞,不用370的也可以看下如何部署,在GPU也是通用的。原创 2024-03-04 11:25:23 · 534 阅读 · 1 评论 -
寒武纪芯片MLU370-M8完成GLM2-6B多轮对话Ptuning-v2
前几篇讲到了有关大模型在寒武纪卡上推理,是不是觉得越来越简单了,接下来上干活知识,基于寒武纪卡完成大模型微调,以及后面还会讲到基于寒武纪卡完成数字人训练+推理,敬请期待。废话不多说,我们现在开始目前Mlu能跑几乎很多算法,下一期来一期数字人推理+数字人训练吧。原创 2023-10-25 13:50:20 · 515 阅读 · 1 评论 -
MLU370-M8轻轻松松跑通Qwen-7B-chat
通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。Qwen-7B系列模型的特点包括:1 大规模高质量预训练数据:我们使用了超过2.2万亿token的自建大规模预训练数据集进行语言模型的预训练。原创 2023-10-10 11:52:43 · 430 阅读 · 0 评论