2201_75499313的博客

检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将外部知识整合到生成过程中，增强了大型语言模型（LLM）的性能.让我们探索 RAG 的关键组成部分。第一、定制知识库定制知识库是指一系列紧密关联且始终保持更新的信息集合，它构成了 RAG 的核心基础。这个知识库可以表现为一个结构化的数据库形态，也可以表现为一套详尽的文档体系，甚至可能是两者兼具的综合形式。第二、分块分块技术是指将大规模的输入文本有策略地拆解为若干个较小、更易管理的片段的过程。

近日，经常有小伙伴私信我，大模型知识太多了，有点懵啊，我该如何学习LLM 大模型？今天我们就来剖析下 LLM 大模型技术知识的学习路径。

最近AI圈最火的无疑是OpenAI在2月15日发布的Sora。Sora可以根据文本生成一分钟的高清视频，生成的视频画质、连续性、光影等都令人叹为观止，Sora无疑将视觉生成推到新的高度。本文将重点回答三个问题：（1）Sora的原理是什么？（2）Sora到底是不是世界模型？（3）Sora会影响哪些行业？

七天入门大模型已完成了6篇，

七天入门大模型已完成了5篇，

目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。然后就可以拉你进群了。预置常用的测试基准，包括：MMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH、HumanEval、BBH、GeneralQA等。前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

模型/训练/推理深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。y = ax + b该方程意味着给出常数a、b后，可以通过给出的x求出具体的y。这个根据x求出y的过程就是模型的推理过程。在LLM中，x一般是一个句子，如“帮我计算23+20的结果”，y一般是：“等于43”。基于上面的方程，如果追加一个要求，希望a=1,b=1,x=3的时候y=10呢？这显然是不可能的，因为按照上面的式子，y应该是4。y=σ(ax+b)这个非线性变换可以理解为指数、对数、或者分段函数等。

本课程以Qwen系列模型为例，主要介绍在魔搭社区如何高效推理LLM和多模态模型，主要包括如下内容：LLM和多模态大模型的推理使用ModelScope NoteBook免费GPU推理Qwen-1.8B-Chat-int4使用ModelScope NoteBook免费GPU推理Qwen-VL-Chat-int4使用ModelScope NoteBook免费GPU推理Qwen-audio-Chat推理加速和多端推理推理加速：vLLM+fastchat加速推理。

最核心的写一条好prompt的原则就是尽可能清晰、明确地表达你的需求（类比产品经理向程序员提需求）。细分下来，具体原则包括：清晰的指令：足够清晰明确地说明你希望模型为你返回什么，最后更加细致地说明需求，避免模糊表达。提供上下文和例子：给出较为充分的上下文信息，让模型更好地理解相关背景。如果能够提供示例，模型能表现更好（类似传统LLM中的in-context learning）。善用符号和语法：使用清晰的标点符号，标题，标记有助于转达意图，并使输出更加容易被解析。

Base模型和Chat模型我们通常会看到某模型研发机构开源了base模型和chat模型，那base模型和chat模型有什么区别呢？首先，所有的大语言模型（LLM）的工作方式都是接收一些文本，然后预测最有可能出现在其后面的文本。base模型，也就是基础模型，是在海量不同文本上训练出来的预测后续文本的模型。后续文本未必是对指令和对话的响应。qwen-1.8B。

感性理解:大模型微调指的是“喂”给模型更多信息，对模型的特定功能进行 “调教”，即通过输入特定领域的数据集，让其学习这个领域的知识，从而让大模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、文本分类、对话聊天等;

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~本项目实现原理如下图所示，过程包括 加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的。如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。， 不然该项目跑不动。

近期，零一万物Yi系列模型家族发布了其多模态大模型系列，**Yi Vision Language（Yi-VL）**多模态语言大模型正式面向全球开源。凭借卓越的图文理解和对话生成能力，Yi-VL模型在英文数据集MMMU和中文数据集CMMMU上取得了领先成绩，展示了在复杂跨学科任务上的强大实力。——这也是Yi-VL模型的核心亮点之一。用于图像编码，使用开源的OpenClip ViT-H/14模型初始化可训练参数，通过学习从大规模"图像-文本"对中提取特征，使模型具备处理和理解图像的能力。

最近技术群的一位同学，分享了他面试NLP算法工程师(大模型方向)的经历与经验。直呼太难了。。。。这位同学为了准备面试刷了 leetcode200-300 题左右，侧重刷高频hard题，同时准备了大量的大模型面试问题。面的公司地点均在上海，总共5家。

LangChain 使构建由LLM驱动的应用程序变得简单。它提供的工具极大简化了上述所有挑战。使用LangChain，可以轻松地在统一的界面中与不同的LLM类型进行交互，管理模型版本、管理提示版本，并连接LLM。所有这些功能都打包在一个易于使用的API（应用程序接口）中，因此可以在应用程序中快速利用LLM。

最近我们技术群的一位小伙伴，分享了他面试理想汽车大模型算法工程师的经历与经验。今天整理后分享给大家，如果你对这块感兴趣，可以文末加入我们的技术&面试讨论群。

在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了自信和沟通能力。百度的面试篇项目面一点，整体效果还行，面试官给人感觉比较温和。

在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了自信和沟通能力。很多题目非常强调实践，没有做过大模型的项目且没有针对性准备过，很难回答上。大模型微调是很多公司的考察重点。几种模型的注意力机制、位置编码要熟悉。4.RLHF的几步多熟悉熟悉。

该项目强调了 Neo4j Vector Index 和 LangChain 的有效组合，GraphCypherQAChain 分别可以浏览非结构化数据和图形知识，然后使用 Mistral-7b 生成明智且准确的响应。通过使用 Neo4j 从向量索引和图形数据库检索相关信息，系统确保生成的响应不仅上下文丰富，而且锚定在经过验证的实时知识中。该实现展示了检索增强生成的实际应用，其中利用来自不同数据源的综合信息来生成响应，这些响应是预先训练的知识和特定的实时数据的和谐混合，从而提高了预测的准确性和相关性。

向量索引是 Neo4j 的一个重要补充，使其成为处理 RAG 应用程序的结构化和非结构化数据的出色解决方案。希望 LangChain 集成能够简化将向量索引集成到现有或新的 RAG 应用程序中的过程，这样我们就不必担心细节。请记住，LangChain 已经支持生成 Cypher 语句并使用它们来检索上下文，因此我们现在可以使用它来检索结构化和非结构化信息。参考文献。

本文介绍了LangChain框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解LangChain的工作原理。展望未来，LangChain有望在各个领域发挥巨大作用，促进我们工作效率的变革。我们正处于AI爆发的前夜，积极拥抱新技术将会带来完全不同的感觉。

一、动机篇1.1 什么是文本摘要？1.2 文本摘要技术有哪些类型？二、抽取式摘要篇2.1 抽取式摘要是怎么做的？2.1.1 句子重要性评估算法有哪些？2.1.2 基于约束的摘要生成方法有哪些？2.1.3 TextTeaser算法是怎么抽取摘要的？2.1.4 TextRank算法是怎么抽取摘要的？2.2 抽取式摘要的可读性问题是什么？三、压缩式摘要篇3.1 压缩式摘要是怎么做的？四、生成式摘要篇4.1 生成式摘要是怎么做的？4.2 生成式摘要存在哪些问题？

本文主要介绍使用魔搭社区轻量级训练推理工具SWIFT，进行大模型自我认知微调，帮助初阶炼丹师快速微调出专属于自己的大模型。SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是，基于PyTorch的轻量级、开箱即用的模型微调、推理框架，让AI爱好者用自己的消费级显卡就能玩转大模型和AIGC。接下来进入手把手实操，**微调前推理 **

自然语言处理是计算机科学领域和人工智能领域的重要研究方向之一，旨在探索实现人与计算机之间用自然语言进行有效交流的理论与方法。它融合了语言学、计算机科学、机器学习、数学、认知心理学等多学科内容，涉及从字、词、短语到句子、段落、篇章的多种语言单位，以及处理、理解、生成等不同层面的知识点，研究内容涉及的知识点多且复杂。自20世纪90年代以来，自然语言处理发展迅猛，各类任务和算法和研究范式层出不穷，在搜索引擎、医疗、金融、教育、司法等众多领域展示出重要作用。今天要分享资料是复旦大学张奇、桂韬、黄萱菁教授的自然语言授

LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型LLM的架构介绍：Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。

NEFTune方法可以缓解模型在指令微调阶段的过拟合现象，可以更好的利用预训练阶段的知识内容。但研究目前还存在一些缺陷，例如评价器为GPT4、没有在更大的模型上进行实验。