master_hunter的博客

既然存在生成内容与原有数据之间存在差距，那么有应该有度量二者差距的标量，损失函数就是度量两者直接的差距。损失函数的值告诉了优化算法应该如何更新模型的参数，以使模型的预测结果更接近实际数据。生成模型的损失函数值可以作为一个指标，用来评估模型的性能。通常情况下，我们希望损失函数越小越好，因为这意味着模型的预测结果越接近实际数据。通过选择合适的损失函数和正则化项，可以降低模型对训练数据的过拟合程度，提高模型在未见过数据上的泛化能力。

博主现任高级人工智能工程师，曾发表多篇SCI且获得过多次国际竞赛奖项，理解各类模型原理以及每种模型的建模流程和各类题目分析方法。目的就是为了让零基础快速使用各类代码模型，每一篇文章都包含实战项目以及可运行代码。欢迎大家订阅一文速学-深度学习项目实战我们可以把目标分割拆解为两个技术实现部分：一为语义分割、二为实例分割。图像分类旨在判断该图像所属类别。目标检测是在图像分类的基础上，进一步判断图像中的目标具体在图像的什么位置，通常是以外包矩形(bounding box)的形式表示。

在聚类问题中，我们试图将数据集分成不同的组（簇），使得每个组内的数据点相似度较高，而不同组之间的相似度较低。聚类问题的目标是找到合适的簇划分，以最大程度地减小组内的差异，同时最大程度地增大组间的差异。在聚类问题中，并没有像监督学习中那样明确定义的损失函数，因为聚类问题通常是无监督学习，没有预先定义的目标变量。而聚类问题的损失函数通常用于度量簇划分的质量，并提供一种可优化的指标来衡量聚类结果的好坏。损失函数度量了每个簇内数据点的相似度，即簇内数据点之间的相似程度。

在AI语境中，"Prompt"通常指的是向模型提出的一个请求或问题，这个请求或问题的形式和内容会影响模型的输出。例如:在一个文本生成模型中，提示可以是一个问题、一个话题或者是一段描述，模型根据这个提示生成相应的文本。Prompt工程是指人们向生成性人工智能（AI）服务输入提示以生成文本或图像的过程中，对这些提示进行精炼的过程。任何人都可以使用文言一心和DALL-E这样的生成器，通过自然语言来进行操作。这也是AI工程师在使用特定或推荐提示对大型语言模型（LLMs）进行精炼时使用的技术。

其实最优化问题，从小学开始学习数学的时候就可以说已经接触到了，在我印象中有个问题，用一个平底锅煎饼，每次只能放2只饼，煎一只饼要2分钟（正反各用1分钟），煎三只饼要几分钟。这个问题其实已经可以归为最优化问题，我们实际计算出的时间，和真实最节省的时间不断对比去调整煎饼方案，得到时间花费最短的方案，得到最优解。其实这个问题将对象换一下，将煎饼时间换为损失函数，将煎饼换为训练模型，那这个问题就是最优化问题了。

此篇文章已经是本系列的第五篇文章，之前我们已经将检索增强生成(RAG)策略，逐渐我们掌握的知识和技术都在不断提高，对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计基于链式思考（CoT）、思维树 (ToT)和检索增强生成 (RAG)这三大框架我们现在要开始了解学习思维树 (ToT)。如何建立一个[解决通用问题的语言模型]？如何能够让LLM能够深思熟虑的解决问题？我们人类通过搜索一个组合式问题空间来解决问题。

此篇文章已经是本系列的第五篇文章，之前我们已经将检索增强生成(RAG)策略，逐渐我们掌握的知识和技术都在不断提高，对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计基于链式思考（CoT）、思维树 (ToT)和检索增强生成 (RAG)这三大框架我们现在要开始了解学习思维树 (ToT)。如何建立一个[解决通用问题的语言模型]？如何能够让LLM能够深思熟虑的解决问题？我们人类通过搜索一个组合式问题空间来解决问题。

Prompt系列的第二期文章已经将所有的Prompt工程主流策略讲解完毕，共涉及到六种Prompt类别模型以及具体生产内容详解。再结合系列第一篇文章具体对Prompt工程的详细介绍，也就可以达到Prompt工程师的初步入门，现在如果掌握了这些基础技能那么就可以去学习一些更高阶的Prompt技能，伴随GPT-4 Turbo达到可生成自定义的GPTs，能够搭建属于业务目标的知识。

在上篇文章中我们了解到Prompt基本种类有以下几种：如果大家经常用语言大模型的一些原生应用或者是去看过一些Prompt模板，开头的第一句往往都是说:我想让你担任xxx或者是你是一名xxx诸如此类定义人设的话：诸如此类的Prompt模板，为方便其中指定人设这段话我称之为System message，System message包含着Prompt开头，用于为模型提供上下文、指令或与使用案例相关的其他信息。

想象一下，当你在写一篇文章或解决一个问题时，如果遇到了难题，你会怎么做？可能会去搜索引擎查找信息，然后基于找到的信息来构建你的答案。这个过程，其实很像是RAG框架在做的事情。化繁为简，我们先来了解RAG到底是什么。先从字母意思开始理解，RAG——Retrieval Augmented Generation，正如其名，是一种将检索（Retrieval）和生成（Generation）结合起来的技术。它首先从一个巨大的知识库中检索出与提出的问题最相关的信息，然后基于这些信息来生成回答。

IDEA启动！大模型的title想必不用我多说了，多少公司想要搭上时代前言技术的快车，感受科技的魅力。现在大模型作为降本增效的强大工具，基本上公司大多人都想要部署开发一把，更多的想要利用到这些模型放到生产中来提高生产力。但是对于我们开发者来说，找到实际落地场景可以说是产品的活，我们需要思考如何高效维护AI这个模块，如何建立项目层级结构才能更好的解耦。正巧最近遇到了这个需求，来和大家分享项目搭建流程，此项目将运用到我个人开发的网页和网站上面，感兴趣的同学可以去体验一下，再来看看项目设计结构会更有心得。

最近在探索如何发展AI在业务上的驱动力时了解到了生成式商业智能这一概念，同时本人也在探索ChatBI这一技术的实际落地运用，其实二者几乎在实现效果层面是一个意思，GBI(Generative Business Intelligence)是偏向业务方面，而ChatBI更多是偏向技术方面。二者最终导向都是实现让企业可以更加快速地实现从数据到决策的转化，满足企业在不同场景下的数据分析需求。具体来说前者核心功能是通过生成式模型自动化地生成多层次的业务洞察、深度分析和预测结果。

NL2SQL的出现，彻底改变了人与数据交互的方式。它通过将复杂的SQL查询隐藏在自然语言输入背后，极大地降低了数据获取的门槛，让业务人员无需依赖技术背景就能直接获取所需的信息。随着自然语言处理技术的不断进步，NL2SQL的应用场景将愈加广泛，覆盖从企业报表到智能客服等各个领域。未来，随着模型的泛化能力增强和实时性能优化，我们可以期待NL2SQL技术在数据驱动的决策中扮演更加重要的角色，让“零成本与数据沟通”真正成为可能。

根据系列上篇文章，我们已经了解了知识图谱的基本概念，以及现在知识图谱发展状况，与前沿AI结合方向。现在就差真正实践构建知识图谱这临门一脚，基本上就会对知识图谱这一产品有更加清晰的认识。那么工欲善其事必先利其器，就像我们对编程语言的掌握程度，更高级的用法和熟练度能更进一步提高我们做出项目产品的质量，在本篇文章将从开发环境部署写到初级知识图谱搭建实践，完成从无到有的知识图谱构建过程。

IDEA启动！大模型的title想必不用我多说了，多少公司想要搭上时代前言技术的快车，感受科技的魅力。现在大模型作为降本增效的强大工具，基本上公司大多人都想要部署开发一把，更多的想要利用到这些模型放到生产中来提高生产力。但是对于我们开发者来说，找到实际落地场景可以说是产品的活，我们需要思考如何高效维护AI这个模块，如何建立项目层级结构才能更好的解耦。正巧最近遇到了这个需求，来和大家分享项目搭建流程，此项目将运用到我个人开发的网页和网站上面，感兴趣的同学可以去体验一下，再来看看项目设计结构会更有心得。

知识库：是一个用于存储和管理信息的系统，可以是结构化（如数据库）或半结构化（如文档库）的形式。它集中存储特定领域的事实、规则和信息，方便查询和管理。知识图谱：是一种以图形化方式表现知识的结构，通过节点（实体）和边（关系）来展示信息，强调实体之间的关联性和上下文。

上期写了NL2SQL，相信看过的朋友应该都对现在大模型在数据交互办公层面的探索和发展都十分感兴趣，在此商业化的产品市场上也有很多，比如阿里云的析言GBI：腾讯云的ChatBI：像此类的产品可以说是最贴切业务的。在许多业务场景中，用户最关心的是如何快速获取最终的数据结果，而不是去理解数据是如何被提取和处理的。学习数据获取的复杂过程往往是一个高成本的障碍，而降低这一成本直接关系到产品的吸引力和用户的转化率。对于我们技术人员而言，尽管研发思维是核心，但我们开发的服务最终还是为了更好地服务于业务需求。

系列文章的上一篇我们已经进行了UIE抽取，非结构化知识抽取整理，转化。但是目前仅在于通过分词提取实体、属性、关系，还没有通过大模型来进一步高效率高精准度来提取这些关键字段，因此后续我们都整个流程优化空间都很大，最终我们的目标就是集成数据库以及大模型，对非结构化知识(包含图片，PDF等通过OCR算法识别)自动化抽取，再落库分发接口展示。目前我们需要进一步认识知识存储数据库，这里使用Neo4j进行讲解演示。如觉得项目有用请不吝支持。Neo4j 是一个开源的图数据库管理。

本系列文章从最初的基础原理与入门实践切入，一直延伸到主流策略、引导策略、RAG（检索增强生成）、思维树（ToT）与避免幻觉（Hallucination）的策略这种渐进的结构方便了对初学者和进阶者的双向照顾。初学者可以先理解基本概念，然后慢慢深入；有一定经验的读者则可以快速跳到策略章节，获取更高阶的经验和方法。在熟练掌握以上技能和熟悉概念理论之后，我们需付出实践，结合场景来实际操作检验一遍，达到融会贯通。

DeepSeekR1强大的语义理解能力DeepSeekR1在预训练过程中利用了海量中文数据，具备对中文文本语义、上下文以及专业术语的深度理解能力。例如，面对“综合管理”与“综合执法”这样的相似概念时，传统模型可能会混淆，但DeepSeekR1则能结合上下文以及岗位说明做出更准确的区别，帮助系统在推荐岗位时更精准地匹配考生需求。对岗位职责与能力需求的深度解析公务员与事业单位的岗位描述通常包含多个条件维度，如学历、专业、工作经历、政治面貌、执业资格等。

如果你一直在跟着Fanstuck博主的脚步探索AI大模型的相关内容，从最初的大模型Prompt工程解析，DeepSeek全面解析，到实际的私有化大模型开发部署，再到深入NL2SQL、知识图谱大模型和ChatBI等更高阶应用.我是Fanstuck，致力于将复杂的技术知识以易懂的方式传递给读者，热衷于分享最新的行业动向和技术趋势。简单来说，大模型微调就是在通用的大模型（如GPT、DeepSeek等）已经具备一定知识的基础上，让模型能够更精确地处理特定领域或特定任务的数据，从而提高其在实际应用中的表现。

主要内容目录结构：标明文书各章节标题、页码，方便评审方快速定位关键内容。招标项目背景简介：简要描述本项目的来龙去脉、背景意义。写作说明：说明文书的适用范围、引用法规或标准等。特点与写作要求强调可读性：将核心章节和附录分类清晰地列出，一目了然。前言语言风格：既要有概要性介绍，也可以适当结合项目特色，让后续章节的阐述更具逻辑衔接。半规则化：目录部分相对固定，可由DeepSeek调用模板生成；但“项目背景简介”常需要根据项目实际情况进行非规则化的创作，建议重点突出背景痛点和项目必要性。

如果你一直在跟着博主的脚步探索AI大模型的相关内容，从最初的大模型Prompt工程解析，到实际的开发部署，再到深入NL2SQL、知识图谱大模型和ChatBI等更高阶应用，应该已经感受到了我们一步一个脚印，从迈过一道道技术难关，到搭建起属于自己的技术桥梁的过程。合成数据，简单来说，就是通过算法和技术生成的数据，目的是模仿真实世界中的数据特征。一个典型的例子是 OpenAI 的 Codex 模型，它使用合成代码片段来丰富训练数据，结果证明，合成数据的加入让 Codex 在理解和生成代码方面的能力更上一层楼。

想象你有一位无所不知的数学教授（教师模型），他能在黑板上推导出最复杂的定理，但他的知识全部存储在一个装满草稿纸的房间里。现在，我们需要把这些知识浓缩成一本便携的《考点精讲》（学生模型），让普通学生也能快速掌握核心方法。这就是知识蒸馏的意义——让笨重的大模型“轻装上阵”，同时保留核心能力。大模型蒸馏的核心思想是通过让较小的学生模型模仿较大的教师模型的行为，从而在保留模型性能的前提下，降低计算资源的消耗。

我们举一个通俗的例子：”假如你玩一个抽卡游戏，这段时间新活动刚好出了一个新的角色你想要抽到她，一般来说抽到这个角色基本都要保底，大部分人都需要一个648才能抽到，但是你的手气实在太非了，氪了两个648才抽到了，那么这和你预估的结果少了一个648的钱，也就是你大抵损失的金额。“通过上面这个例子我们再将大部分人预估抽到的金额设定为Y，而且实际用到的抽奖金额为Y'，那么两者的差距|Y-Y'|就是损失函数了。

如果能够本地自己搭建一个ChatGPT的话，训练一个属于自己知识库体系的人工智能AI对话系统，那么能够高效的处理应对所属领域的专业知识，甚至加入职业思维的意识，训练出能够结合行业领域知识高效产出的AI。这必定是十分高效的生产力工具，且本地部署能够保护个人数据隐私，能够内网搭建办公使用也十分的方便。而对于ChatGLM来说最大的优点就是本地能快速部署且需要资源较比与ChatGPT相当低，还要什么自行车，够用就好。甚至能够在一些性能较高的服务器单点部署，INT4 量化级别下最低只需 6GB 显存。

深度学习技术在当今技术市场上面尚有余力和开发空间的，主流落地领域主要有：视觉，听觉，AIGC这三大板块。目前视觉板块的框架和主流技术在我上一篇基于Yolov7-LPRNet的动态车牌目标识别算法模型已有较为详细的解说。与AIGC相关联的，其实语音模块在近来市场上面活跃空间很大。从智能手机的语音助手到智能家居中的语音控制系统，再到银行和电信行业的语音身份验证，语音技术的应用日益广泛。

Fanstuck博主现任高级人工智能工程师，专注于深度学习项目的实际应用。曾发表多篇SCI论文并在多次国际竞赛中获奖，具备深厚的理论知识和丰富的实战经验。专栏内容涵盖图像处理、预测分析、语音识别等深度学习项目，每篇文章均包含详细的实战项目与可运行代码。目标是帮助零基础读者快速掌握各类深度学习模型及其应用，提供最新的竞赛思路和全面的解决方案。紧跟技术前沿，为读者呈现最具实用价值的内容。深度学习技术在当今技术市场上面尚有余力和开发空间的，主流落地领域主要有：视觉，听觉，AIGC这三大板块。

深度学习技术在当今技术市场上面尚有余力和开发空间的，主流落地领域主要有：视觉，听觉，AIGC这三大板块。目前视觉板块的框架和主流技术在我上一篇基于Yolov7-LPRNet的动态车牌目标识别算法模型已有较为详细的解说。与AIGC相关联的，其实语音模块在近来市场上面活跃空间很大。从智能手机的语音助手到智能家居中的语音控制系统，再到银行和电信行业的语音身份验证，语音技术的应用日益广泛。

目标检测无非做两个事情，一是检测出该目标在图片或者视频里面所处的位置以及该目标的类别。二是对于有多个目标的图片，检测出所有目标所处的位置及其类别。那么对于第一个要解决的问题，我们可以来了解具体需要干什么事情。

损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。

综上所述，图像去噪是图像处理领域中的重要任务，其目的是消除或减弱图像中的噪音，以使图像更清晰、更易分析。不同的去噪算法适用于不同类型和强度的噪音，因此在实际应用中需要根据具体情况选择合适的方法。同时，对于特定的图像处理任务，也可能需要结合多种去噪技术以获得最佳效果。在实践中，通过理解各种去噪算法的原理和特性，可以更好地应用它们来解决实际问题，从而提升图像处理的质量和效率。

当涉及到图像处理和计算机视觉任务时，噪音是一个不可忽视的因素。噪音可以由多种因素引起，如传感器误差、通信干扰、环境光线变化等。这些噪音会导致图像质量下降，从而影响到后续的图像分析和处理过程。因此，对于从图像中获取准确信息的应用，我们需要有效地处理这些噪音。在本篇讨论中，我们将深入探讨图像数据中常见的几种噪音类型，以及相应的处理方法，旨在提升图像处理任务的准确性和稳定性。

数据增强是一种通过使用已有的训练样本数据来生成更多训练数据的方法，可以应用于解决数据不足的问题。数据增强技术可以用来提高模型的泛化能力，减少过拟合现象。比如在狗猫识别项目中，通过随机旋转、翻转和裁剪等数据增强方法，可以使模型具有对不同角度和尺寸的狗猫图像的识别能力。增加训练样本数量：通过生成新样本，可以扩充训练集，提供更多样本供模型学习，从而减轻过拟合问题。提升模型的泛化能力：通过引入随机性，数据增强可以帮助模型学习到更多的通用特征，使其对新样本的泛化能力更强。增强模型的鲁棒性。

目标识别如今以及迭代了这么多年，普遍受大家认可和欢迎的目标识别框架就是YOLO了。按照官方描述，YOLOv8 是一个 SOTA 模型，它建立在以前 YOLO 版本的成功基础上，并引入了新的功能和改进，以进一步提升性能和灵活性。从基本的YOLOv1版本到如今v8版本，完成了多次蜕变，现在已经相当成熟并且十分的亲民。我见过很多初学目标识别的同学基本上只花一周时间就可以参照案例实现一个目标检测的项目，这全靠YOLO强大的解耦性和部署简易性。初学者甚至只需要修改部分超参数接口，调整数据集就可以实现目标检测了。

目标识别如今以及迭代了这么多年，普遍受大家认可和欢迎的目标识别框架就是YOLO了。按照官方描述，YOLOv8 是一个 SOTA 模型，它建立在以前 YOLO 版本的成功基础上，并引入了新的功能和改进，以进一步提升性能和灵活性。从基本的YOLOv1版本到如今v8版本，完成了多次蜕变，现在已经相当成熟并且十分的亲民。我见过很多初学目标识别的同学基本上只花一周时间就可以参照案例实现一个目标检测的项目，这全靠YOLO强大的解耦性和部署简易性。初学者甚至只需要修改部分超参数接口，调整数据集就可以实现目标检测了。

PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架可以类比为编程语言，仅为我们实现项目效果的工具，也就是我们造车使用的轮子，我们重点需要的是理解如何使用Torch去实现功能而不要过度在意轮子是要怎么做出来的，那样会牵扯我们太多学习时间。以后就出一系列专门细解深度学习框架的文章，但是那是较后期我们对深度学习的理论知识和实践操作都比较熟悉才好开始学习，现阶段我们最需要的是学会如何使用这些工具。

PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架可以类比为编程语言，仅为我们实现项目效果的工具，也就是我们造车使用的轮子，我们重点需要的是理解如何使用Torch去实现功能而不要过度在意轮子是要怎么做出来的，那样会牵扯我们太多学习时间。以后就出一系列专门细解深度学习框架的文章，但是那是较后期我们对深度学习的理论知识和实践操作都比较熟悉才好开始学习，现阶段我们最需要的是学会如何使用这些工具。

PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架可以类比为编程语言，仅为我们实现项目效果的工具，也就是我们造车使用的轮子，我们重点需要的是理解如何使用Torch去实现功能而不要过度在意轮子是要怎么做出来的，那样会牵扯我们太多学习时间。以后就出一系列专门细解深度学习框架的文章，但是那是较后期我们对深度学习的理论知识和实践操作都比较熟悉才好开始学习，现阶段我们最需要的是学会如何使用这些工具。

在前面的文章中已经带着大家搭建过好几遍神经网络了，注意初始化网络和对应的输入层，隐藏层和输出层。input_size = 784 #mnist的像素为28*28num_classes = 10#输出为10个类别分别对应于0~9#创建神经网络模型#初始化函数，接受自定义输入特征的维数，隐含层特征维数以及输出层特征维数self.layer1 = nn.Linear(input_num,hidden_size) #从输入到隐藏层的线性处理。