weixin_42878111的博客

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用23-深度混合的transformer改造模型MoD，计算提速50%，算力资源大大节省。“Mixture-of-Depths Transformer”是创新型语言模型，与传统的模型不同，这个模型能够根据输入序列的特定部分动态调整其计算资源的分配，而不是简单地对所有部分进行平均分配。这种策略使得模型在保持原有性能的同时，能够显著减少计算量，从而提升处理速度。实验结果显示，相较于计算量相当的基准模型，这种新型模型的速度提升了66%。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用22-谷歌Gemma AI大模型的架构原理,以及Gemma模型的部署安装本地教程。谷歌Gemma AI大模型是由Google AI团队开发并开源。Gemma模型采用Transformer编码器-解码器架构，并加入了一些改进，例如使用稀疏注意力机制来提高推理效率，使用混合精度训练来提高性能，以及使用量化技术来降低模型大小。

大家好，我是微学AI，今天介绍一下大模型的实践应用21-P-tuning微调技术详细介绍，计算效率与模型性能比较。P-tuning是一种高效的微调方法，主要用于预训练的大型语言模型（LLMs）。这种方法的核心思想是将传统的、固定的提示（prompt）转换为可学习的嵌入（embedding）层，并通过一个简单的神经网络（如MLP或LSTM）对这些嵌入进行处理。这样，模型就可以根据特定的任务动态地调整这些提示，而不是像传统的Prompt Tuning那样使用固定的模板。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用20-一种内存高效微调技术LISA，效果比LoRA有显著提升。LISA是一种新型的微调技术，全称为Layerwise Importance Sampled AdamW，由UIUC联合LMFlow团队提出。这项技术主要针对大型语言模型（LLM）的微调问题，旨在实现内存高效的微调。LISA技术的核心在于对大型语言模型中的各个层次进行重要性采样，从而在保证模型性能的同时减少内存消耗。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用19-基于pytorch框架下LayoutLM模型的搭建以及原理介绍。LayoutLM是一个基于 Transformer 的预训练模型，它专门为处理布局丰富的文档信息而设计，例如扫描的文档、PDF 文件等。这个模型由微软亚洲研究院的研究团队开发，并在 2020 年发布。它结合了文本、布局信息和图像特征，能够更好地理解和处理文档中的信息

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用18-大模型的开发框架LangChain的简单应用与Faiss向量数据库实现。LangChain是一个强大的开发框架，专门用于构建基于大型语言模型（LLM）的应用程序。它提供了丰富的工具和组件，帮助开发者更轻松地利用LLM的能力。下面我将对LangChain这个库进行详细的介绍。LangChain 框架的核心优势之一是其高度模块化的设计。它将 LLM 应用程序的开发过程分解为多个独立的组件，如数据预处理、模型加载、推理、后处理等。

我们采用QLoRA技术微调模型QLoRA(Quantized LoRA) 是 LoRA（Low-Rank Adaptation）的一种变体，旨在通过量化的方式减少模型大小和提高计算效率，同时保持或提升微调的性能。QLoRA 主要改进了 LoRA 在处理大型模型时的效率问题，尤其是在硬件资源有限的情况下。LoRA 本身是一种参数高效的微调方法，它通过引入低秩矩阵来捕捉基础模型参数的微小变化，从而只需要微调这些低秩矩阵，而不是整个模型的参数。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用16-一种针对大型预训练模型的微调技巧：Adapter-Tuning方法的实战应用，原理详细介绍。Adapter-Tuning 是一种针对大型预训练模型微调的技术，它可以在保持模型参数数量较小的情况下增加模型的表现。该技术将适配器插入到预训练模型的中间层中，以允许微调特定任务时仅修改少量的参数，从而提高了微调的效率和速度。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用15-Chinese-LLaMA2模型的介绍与部署运行测试，Atom-7B-Chat模型用多种方式流式打印文本。Llama2是由Meta公司发布的最新一代开源大型模型，其训练数据集规模为2万亿个Token。相较于Llama 1，Llama 2的上下文长度扩展到了4096，使其能够更好地理解和生成更长的文本内容。在各项开源大型模型的基准测试中，Llama 2表现出色。另外，重要的是，该模型可以免费用于商业用途。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用14-大语言模型的分布式训练并行策略，(数据、模型、张量)并行的原理介绍。大语言模型的分布式训练并行策略主要通过数据并行来实现。数据并行是指将训练数据划分为多个小批量，然后将这些小批量分配给不同的计算设备进行并行处理。通过数据并行的并行策略，每个计算设备都可以独立地计算小批量数据的梯度，并将结果进行聚合，从而实现模型的并行训练。这种分布式训练策略可以加速大语言模型的训练过程，并提高模型的性能和效果。

大家好，我是微学AI，今天给大家介绍大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出。Qwen-1_8B-Chat是阿里云研发的通义千问大模型系列的18亿参数规模的模型。Qwen-1.8B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-1.8B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-1.8B-

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用12-GPT4框架介绍与详细训练过程，以及并行性的策略，专家权衡机制，推理权衡等内容。2023年3月14日，OpenAI发布GPT-4，然而GPT-4的框架没有公开，OpenAI之所以不公开GPT-4的架构，并不是因为存在对人类的潜在威胁，而是因为他们所建立的模型是可以被复制的。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用11-“书生”通用大模型的搭建与模型代码详细介绍，以及快速使用方法。“书生” 通用大模型是上海人工智能实验室研制的大模型，并且已经开源了“书生·浦语”大模型70亿参数的轻量级版本InternLM-7B。InternLM-7B模型主要是基于transformers架构中的解码器开发改造的，架构中运用RMSNorm归一化方法、RotaryEmbedding(旋转位置嵌入)方法、注意力机制与解码器层的改造搭建起来的。该模型利用数以万亿计的高质量数据token

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用10-大模型领域知识与参数高效微调(PEFT)技术的详解，并利用PEFT训练自己的大模型。大模型领域的参数高效微调技术(PEFT)是指通过对大规模神经网络模型进行高效率的参数微调，以提高模型性能和效率的一种方法。PEFT技术通常适用于需要在特定的垂直领域任务上高效微调获得更好性能的大模型，大幅减少算力支出。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用9-利用LoRA方法在单个GPU上微调FLAN-T5模型的过程讲解与实现，文本我们将向您展示如何应用大型语言模型的低秩适应(LoRA)在单个GPU上微调FLAN-T5 XXL(110 亿个参数)模型。我们将利用Transformers、Accelerate和PEFT等第三方库。

大家好，我是微学AI，今天给大家介绍一下大模型的应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南，2023年是大语言模型爆发的元年，在我国大语言模型分布就有上百种，随着人工智能技术的不断发展，对于GPT这样的大型语言模型的规模只会变得越来越大。随着模型规模的增大，这些模型的功能和复杂性也随之增加，复杂性和模型大小的增加也会带来新的挑战。训练更大的模型需要更广泛的数据集，并且随着模型的增长，必须调整更多的参数。这可能需要大量计算，因此成本也非常高。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用7-阿里的多版本通义千问Qwen大模型的快速应用与部署。阿里云开源了Qwen系列模型，即Qwen-7B和Qwen-14B，以及Qwen的聊天模型，即Qwen-7B-Chat和Qwen-14B-Chat。通义千问模型针对多达 3 万亿个 token 的多语言数据进行了稳定的预训练，覆盖领域、语言等，能够实现有竞争力的基准数据集上的性能。此外，阿里还基于SFT和RLHF（尚未发布）的符合人类偏好的聊天模型，能够聊天、创建内容、提取信息、解决数学问题等，并且

大家好，我是微学AI，今天给大家讲一下大模型的实践应用6-百度文心一言的基础模型ERNIE的详细介绍，与BERT模型的比较说明。在大规模语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义模式，并通过微调的方式一致地提高各种NLP任务的性能。然而，现有的预训练语言模型很少考虑融入知识图谱(KGs)，知识图谱可以为语言理解提供丰富的结构化知识。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用5-百川大模型(Baichuan-13B)的模型搭建与模型代码详细介绍，以及快速使用方法。 Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用4-ChatGLM大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读，本文介绍将ChatGLM-6B的模型结构，与设计原理。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用3-大模型的基础架构Transformer模型，掌握Transformer就掌握了大模型的灵魂骨架。Transformer是一种基于自注意力机制的深度学习模型，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。它最初被设计用来处理序列到序列（seq2seq）任务，如机器翻译，但现在已经广泛应用于各种NLP任务。下面我们将详细介绍其网络结构。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用2-利用ChatGLM2大模型研发智能自助用药问答系统与药物智能管理的应用。 随着人工智能技术的发展，我们的生活在许多方面都得到了改善。医疗领域也不例外。本文将介绍如何利用大模型（例如ChatGLM2-6b,文心一言,通义千问，讯飞星火大模型）构建一个智能自助用药问答系统与智能管家。该系统旨在提供更有效、安全和便捷的个性化药物管理服务，以提高患者的生活质量和健康状况。

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用1-基于BERT模型训练医疗智能诊断问答的运用研究，协助医生进行疾病诊断。医疗大模型通过收集和分析大量的医学数据和临床信息，能够协助医生进行疾病诊断、制定治疗方案和评估预后等任务。利用医疗大模型，可以帮助医生从复杂的医学数据中提取有价值的信息，提高诊断的准确性和治疗效果。医疗智能诊断是医疗大模型的重要应用之一，它利用深度学习和自然语言处理等技术，综合分析和判断患者的症状、体征和医学图像等，为医生提供准确的诊断辅助。