![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型实战营
文章平均质量分 93
吨吨不打野
不要慌,不要慌,太阳落下有月光
展开
-
大模型实战营第二期——4. XTuner 大模型单卡低成本微调实战
一般通过海量数据训练来的就是一个大的预训练模型/基座模型,如果不进行额外训练/微调,则询问什么是肺癌?,则模型不会意识到这是个需要回答的问题,只会去找训练集中拟合分布的对应结果,类似词嵌入会找最相近的词语。因此需要进行指令微调,让大模型理解指令的意图,才会给我们想要的答案。原创 2024-02-25 16:23:29 · 885 阅读 · 1 评论 -
大模型实战营第二期——3. 基于 InternLM 和 LangChain 搭建你的知识库
完成 LangChain 的自定义 LLM 子类之后,可以以完全一致的方式调用 LangChain 的接口,而无需考虑底层模型调用的不一致。demo所使用的数据考虑到版权等问题,选择由上海人工智能实验室开源的一系列大模型工具开源仓库作为语料库来源,包括:opencompass,lmdeploy,xtuner等。开源词向量模型 ,也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的,也可以自由尝试别的开源词向量模型。另外,用到的词向量模型是。原创 2024-02-10 23:47:46 · 1278 阅读 · 0 评论 -
大模型实战营第二期——2. 浦语大模型趣味Demo
大模型:参数规模大的模型,这个大的量级指的是:十亿甚至千亿以上的参数。原创 2024-02-08 21:32:27 · 819 阅读 · 0 评论 -
大模型实战营第二期——1. 书生·浦语大模型全链路开源开放体系
B站-书生·浦语大模型全链路开源体系数据:汇聚 5400+ 数据集,涵盖多种模态与任务,更多数据集预训练:并行训练,极致优化,速度达到 3600 tokens/sec/gpu微调:全面的微调能力,支持SFT,RLHF和通用工具调用部署:全链路部署,性能领先,每秒生成 2000+ tokens评测:全方位评测,性能可复现,50 套评测集,30 万道题目。原创 2024-01-03 22:08:53 · 1100 阅读 · 1 评论