微调LLM的理由

原文链接:https://www.freddyboulton.com/blog/when-to-finetune?continueFlag=03133d546a002fc4ba73dda1632eeebe

考虑到大语言模型(llama 70b, mixtral, claude...)的能力在不断的增强的情况下,微调是否仍然是值得做的事。

下面是值得微调的一些原因:
    1.提示工程达不到预期
        一开始要进行提示工程而不是微调,因为提示工程是实现最低可行性产品的最快途径。
        但是在进行了多轮的提示工程之后,基础模型仍然不能生成合理的回复,那么就要考虑使用微调越过平稳期。
        这里就强调了为项目设置一个良好的评估方式的重要性,能够客观地评价回复的质量。

    2.提示工程是不切实际的
        对于某些问题,为模型正确响应提示中的查询可能需要的所有上下文进行编码入提示中是不切实际的。
        例如,要求LLM为专有编程语言生成代码。在这种情况下,语言的整个“规范”必须包含在提示中,这要么是不可能的,要么成本非常高,因为它占据了上下文限制的大部分。

    3.数据是你的优势
        为了使微调模型在特定任务上优于通用模型,它必须在比基础模型训练更好的数据上进行训练。
        如果您有一个定义明确的任务和大量基础模型尚未见过的高质量数据,那么微调可能会产生性能更好的模型。

    4.延迟和成本
        在给定任务中,微调可以使小型模型优于大型基础模型。微调也可能意味着您可以使用更短的提示。最终,这将意味着更便宜的托管和更快的推理时间。

案例研究:
    1.关于怎么使用一个软件库的问答系统
        通常情况下微调效果会更好,除非这个库非常受欢迎,基础模型已经学习得很好了。
    2.根据几个条件(如锻炼时长和可用器材)生成个性化锻炼计划的应用程序。
        我认为提示工程在这里就足够了,因为锻炼是非常主观的,并且有很多可以接受的答案。
        我不知道可以收集哪些数据来改进GPT-4/Claude给出的答案。
        也许如果锻炼必须满足非常具体的标准,那么就有必要进行微调。
    3.一款应用程序,可集成到服装店的库存中,并根据“氛围”建议服装。
        我认为微调在这里效果最好。显然,使用RAG将库存中最相关的物品被注入到提示中,但在决定如何将物品进行组合时,存在很多细微差别是基础模型天生无法理解的。
        此外,微调还可以使商店能够将应用程序能够捕捉到著名/知名时装设计师的风格。
总结:
1.效果怎么样(回复质量和速度)
2.是否和私有数据有关
3.问题是否主观
4.答案是否有具体标准

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在信号处理领域,DOA(Direction of Arrival)估计是一项关键技术,主要用于确定多个信号源到达接收阵列的方向。本文将详细探讨三种ESPRIT(Estimation of Signal Parameters via Rotational Invariance Techniques)算法在DOA估计中的实现,以及它们在MATLAB环境中的具体应用。 ESPRIT算法是由Paul Kailath等人于1986年提出的,其核心思想是利用阵列数据的旋转不变性来估计信号源的角度。这种算法相比传统的 MUSIC(Multiple Signal Classification)算法具有较低的计算复杂度,且无需进行特征值分解,因此在实际应用中颇具优势。 1. 普通ESPRIT算法 普通ESPRIT算法分为两个主要步骤:构造等效旋转不变系统和估计角度。通过空间平移(如延时)构建两个子阵列,使得它们之间的关系具有旋转不变性。然后,通过对子阵列数据进行最小二乘拟合,可以得到信号源的角频率估计,进一步转换为DOA估计。 2. 常规ESPRIT算法实现 在描述中提到的`common_esprit_method1.m`和`common_esprit_method2.m`是两种不同的普通ESPRIT算法实现。它们可能在实现细节上略有差异,比如选择子阵列的方式、参数估计的策略等。MATLAB代码通常会包含预处理步骤(如数据归一化)、子阵列构造、旋转不变性矩阵的建立、最小二乘估计等部分。通过运行这两个文件,可以比较它们在估计精度和计算效率上的异同。 3. TLS_ESPRIT算法 TLS(Total Least Squares)ESPRIT是对普通ESPRIT的优化,它考虑了数据噪声的影响,提高了估计的稳健性。在TLS_ESPRIT算法中,不假设数据噪声是高斯白噪声,而是采用总最小二乘准则来拟合数据。这使得算法在噪声环境下表现更优。`TLS_esprit.m`文件应该包含了TLS_ESPRIT算法的完整实现,包括TLS估计的步骤和旋转不变性矩阵的改进处理。 在实际应用中,选择合适的ESPRIT变体取决于系统条件,例如噪声水平、信号质量以及计算资源。通过MATLAB实现,研究者和工程师可以方便地比较不同算法的效果,并根据需要进行调整和优化。同时,这些代码也为教学和学习DOA估计提供了一个直观的平台,有助于深入理解ESPRIT算法的工作原理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值