weixin_38771145的博客

当前阶段，PyTorch框架与昇腾AI处理器进行了在线对接适配。方案特性及优点昇腾AI处理器的加速实现方式是以算子为粒度进行调用（OP-based），即通过Ascend Computing Language（AscendCL）调用一个或几个亲和算子组合的形式，代替原有GPU的实现方式。其逻辑模型如图1所示。最大限度的继承PyTorch框架动态图的特性。最大限度的继承GPU在PyTorch上的使用方式，可以使用户在将模型移植到昇腾AI处理器设备进行训练时，在开发方式和代码重用方面做到最小的改动。

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。

一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。

llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。from langchain . prompts import PromptTemplate # 我们所构造的 Prompt 模板 template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。

数据-预训练框架-微调框架-部署工具-测评工具-agent应用工具箱。多模态智能体工具箱AgentLego介绍。评测框架OpenCompass介绍。大模型部署框架LMDeploy介绍。智能体框架Lagent介绍。书生浦语大模型开源产品。书生浦语全链条开源体系。

大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。

熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM-20B 的 config.json 文件到本地（需截图下载过程）。使用 InternLM-Chat-7B 模型生成 300 字的小故事（需截图）。

致AI学习者, 该跟大佬学习真正的技术了https://gitee.com/popcornBK/Learning-materials

致NLP学习者,该跟大佬学习做项目了,附资料https://gitee.com/popcornBK/Learning-materials

致Go学习者, 该跟大佬学习做项目了https://gitee.com/popcornBK/Learning-materials

致Java学习者,该跟大佬学习项目了,附资源https://gitee.com/popcornBK/Learning-materials

致Python学习者,该跟大佬学习做项目了https://gitee.com/popcornBK/Learning-materials

复杂度分析第一次写博文，侵删并见谅为什么需要复杂度分析大O复杂度表示法时间复杂度分析几种常见时间复杂度实例分析空间复杂度分析第一次写博文，侵删并见谅以下开始正文为什么需要复杂度分析把代码跑一遍，通过统计、监控，就能得到算法执行的时间和占用的内存大小，而且是非常精准的，那为什么还要做时间、空间复杂度分析呢？原因有二：测试结果非常依赖测试环境：例如同样的代码在 i9 和 i3 上跑的时...