qq_28611929的博客

目录

大部分接触大模型的同学大家可能都受限于资源的限制，无法对大模型重新训练。那么如何解决这一困境？我们暂且假定大模型为通用化模型，但是在某一方面的专业领域知识却不强，如果使用专业领域知识重新训练调整，这对资源还有人力都是极大的挑战，因此为在保证资源一定的条件下得到一个效果良好的模型，我们需要最大模型进行微调，对璞玉进行细琢，得到我们想要的样子。 大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。为了解决这个问题，研究

昨天在计算大模型微调占用内存，然后看到优化器Adam占用两倍的模型参数(一阶矩、二阶矩)，仔细思考没想明白，今天把优化器的内容补充下；优化器在机器学习和深度学习中扮演着至关重要的角色，它们负责更新模型的参数以最小化损失函数。优化器基于训练数据和模型预测的误差，调整模型参数，使模型更好地拟合数据。

BERT介绍

传统机器学习时间序列模型

聚类算法简单介绍

面试者经常会问transform这个模型，一个典型的seq2seq结构。

之前用过这个模型，现在也就想写一下。看过很多资料，这个文章最舒服大家可以参考下。tabnet的主体思想是用nn来表示决策树，深度学习能够对多种类型数据进行编码，并将其结合起来减轻特征工程的依赖、端到端的表征学习。

catboost模型介绍

这样的预排序算法的优点是能精确地找到分割点。但是缺点也很明显：首先，

XGBoost与GBDT比较大的不同就是目标函数的定义，基本思想是一致的，同样是利用加法模型与前向分步算法实现学习的优化过程。

逻辑斯蒂回归（Logistic Regression）是一种用于解决分类问题的线性模型。尽管名字中包含“回归”一词，但逻辑斯蒂回归实际上用于处理分类问题，特别是二分类问题。逻辑斯蒂回归通过将线性回归模型的输出通过一个逻辑斯蒂函数（Logistic Function）进行转换，将连续的预测值映射到 0 到 1 之间的概率值。

前面简单梳理的基本的决策树算法，那么如何更好的使用这个基础算法模型去优化我们的结果是本节要探索的主要内容。梯度提升决策树（Gradient Boosting Decision Trees）是一种集成学习方法，通常用于解决回归和分类问题。它通过串联多棵决策树来构建一个强大的模型。在训练过程中，每棵树（CART树）都试图纠正前一棵树的错误，以逐步改进模型的性能。

决策树基础知识点