- 博客(11)
- 收藏
- 关注
RSS订阅原创 大模型评测教程
随着人工智能技术的快速发展， 大规模预训练自然语言模型成为了研究热点和关注焦点。OpenAI于2018年提出了第一代GPT模型，开辟了自然语言模型生成式预训练的路线。沿着这条路线，随后又陆续发布了GPT-2和GPT-3模型。与此同时，谷歌也探索了不同的大规模预训练模型方案，例如如T5, Flan等。OpenAI在2022年11月发布ChatGPT，展示了强大的问答能力，逻辑推理能力和内容创作能力，将模型提升到了实用水平，改变人们对大模型能力的认知。
2024-02-20 10:49:22
1728
原创 LMDeploy 的量化和部署
首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
2024-02-20 10:46:04
1020
原创 XTuner 大模型单卡低成本微调实战
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。
2024-02-20 10:43:04
1276
原创 基于 InternLM 和 LangChain 搭建你的知识库
接着，我们实例化一个基于 InternLM 自定义的 LLM 对象：llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。我们可以基于 LangChain 的 Template 基类来实例化这样一个 Template 对象：# 我们所构造的 Prompt 模板。
2024-02-20 10:39:38
1258
原创 轻松玩转书生·浦语大模型趣味 Demo
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如BERTGPT（ Generative Pre-trained Transformer ）等。大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。
2024-02-17 21:38:47
847
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人