在运行XGBoost之前,必须设置三种类型的参数:通用参数、提升器参数和学习任务参数。
- 通用参数与要使用的提升器有关,通常是树或线性模型
- 提升器参数取决于选择的提升器
- 学习任务参数决定学习场景。例如,回归任务可能使用与排名任务不同的参数
- 命令行参数与XGBoost的CLI版本的行为有关
全局配置
以下参数可以在全局范围内设置,使用 xgboost.config_context()
(Python)或 xgb.set.config()
(R)。
verbosity
: 打印信息的详细程度。有效值为 0(静默),1(warning),2(info),和 3(debug)。use_rmm
: 是否使用 RAPIDS 内存管理器(RMM)来分配 GPU 内存。这个选项仅在 XGBoost 使用 RMM 插件启用时(编译)有效。有效值为true
和false
。
通用参数
-
booster
[default=gbtree
]- 选择使用的提升器。可以是
gbtree
、gblinear
或dart
;gbtree
和dart
使用基于树的模型,而gblinear
使用线性函数。
- 选择使用的提升器。可以是
-
device
[default=cpu
]-
设置 XGBoost 运行的设备。用户可以将其设置为以下值之一:
cpu
: 使用 CPUcuda
: 使用 GPU (CUDA 设备)cuda:<ordinal>: <ordinal>
是一个整数,指定 GPU 的序号gpu
: 从可用和支持的设备列表中选择默认 GPU 设备。目前仅支持 cuda 设备。gpu:<ordinal>
: 从可用和支持的设备列表中选择默认 GPU 设备。目前仅支持cuda
设备。
-
有关 GPU 加速的更多信息,请参见 XGBoost GPU 支持。在分布式环境中,序号选择由分布式框架而不是 XGBoost 处理。因此,使用 cuda:<ordinal>
将导致错误。请使用 cuda
。
-
verbosity
[default=1]- 打印信息的详细程度。有效值为 0(silent),1(warning),2(info),3(debug)。有时 XGBoost 会尝试根据启发式方法更改配置,这会显示为警告信息。如果有意外行为,请尝试增加 verbosity 的值。
-
validate_parameters
[默认为 false,Python、R 和 CLI 接口除外]- 设置为 True 时,XGBoost 将执行输入参数的验证,以检查参数是否被使用。当存在未知参数时,会发出警告。
-
nthread
[如果未设置,则默认为可用的最大线程数]- 用于运行 XGBoost 的并行线程数。在选择时,请考虑线程争用和超线程。
-
disable_default_eval_metric
[默认=false
]- 用于禁用默认度量标准的标志。设置为 1 或
true
以禁用。
- 用于禁用默认度量标准的标志。设置为 1 或
Tree Booster参数
-
eta
[默认值=0.3, 别名:learning_rate
]- 更新中使用的步长缩减,以防止过拟合。在每次提升步骤之后,可以直接获得新特征的权重,而 eta 会缩小特征权重,使提升过程更为保守
- 范围: [0,1]
-
gamma
[默认值=0, 别名:min_split_loss
]- 在叶子节点上进行进一步分区所需的最小损失减小。gamma 越大,算法越保守。即使没有进行任何分割的树仍可能包含一个具有非零分数的单个叶子节点
- 范围: [0,∞]
-
max_depth
[默认值=6]- 树的最大深度。增加此值将使模型更复杂,更容易过拟合。0 表示深度无限制。请注意,在训练深树时,XGBoost 会消耗大量内存。
exact tree
方法要求非零值。 - 范围: [0,∞]
- 树的最大深度。增加此值将使模型更复杂,更容易过拟合。0 表示深度无限制。请注意,在训练深树时,XGBoost 会消耗大量内存。
-
min_child_weight
[默认值=1]- 在子节点中需要的最小实例权重(hessian)总和。如果树的分区步骤导致叶子节点的实例权重总和小于
min_child_weight
,则构建过程将放弃进一步分区。在线性回归任务中,这简单地对应于每个节点中需要的最小实例数。min_child_weight
越大,算法越保守。 - 范围: [0,∞]
- 在子节点中需要的最小实例权重(hessian)总和。如果树的分区步骤导致叶子节点的实例权重总和小于
-
max_delta_step
[默认值=0]- 允许每个叶子输出的最大 delta 步长。如果该值设置为 0,则表示没有约束。如果设置为正值,它可以帮助使更新步骤更为保守。通常不需要此参数,但在逻辑回归中,当类别极度不平衡时可能会有帮助。将其设置为 1-10 的值可能有助于控制更新。
- 范围: [0,∞]
-
subsample
[默认值=1]- 训练实例的子样本比例。将其设置为 0.5 表示 XGBoost 会在生长树之前随机采样一半的训练数据。这将防止过拟合。子采样将在每次提升迭代中发生。
- 范围: (0,1]
-
sampling_method
[默认值= uniform]- 用于对训练实例进行采样的方法。
uniform
: 每个训练实例被选中的概率相等。通常设置subsample >= 0.5
以获得良好的结果。gradient_based
: 每个训练实例的选择概率与梯度的正则化绝对值成比例(g2+λh2\sqrt{g^2+\lambda h^2}g2+λh2)。subsampling
可以设置为低至 0.1 而不会损失模型的准确性。此采样方法仅在tree_method
设置为hist
且设备为 cuda 时受支持;其他树方法仅支持均匀采样。
-
colsample_bytree
,colsample_bylevel
,colsample_bynode
[默认值=1]- 这是用于对列进行子采样的一组参数。
- 所有
colsample_by
参数的范围为 (0, 1],默认值为 1,指定要进行子采样的列的比例。 colsample_bytree
是构建每棵树时列的子样本比例。每次构建树时进行一次子采样。colsample_bylevel
是每个层级的列的子样本比例。每次在树中达到新深度级别时进行一次子采样。从当前树选择的列集中进行列的子采样。colsample_bynode
是每个节点(分割)的列的子样本比例。每次评估新拆分时进行一次子采样。从当前级别选择的列中进行列的子采样。colsample_by
参数是累积的。例如,组合{'colsample_bytree':0.5, 'colsample_bylevel':0.5, 'colsample_bynode':0.5}
,对于 64 个特征,将在每次拆分时留下 8 个特征供选择- 使用 Python 或 R 包,可以为 DMatrix 设置
feature_weights
来定义在使用列采样时每个特征被选中的概率。
-
lambda
[默认值=1, 别名:reg_lambda
]- 权重的 L2 正则化项。增加此值将使模型更为保守
- 范围: [0, ∞]
-
alpha
[默认值=0, 别名:reg_alpha
]- 权重的 L1 正则化项。增加此值将使模型更为保守
- 范围: [0, ∞]
-
tree_method
[字符串,默认值= auto]-
XGBoost 中使用的树构建算法
-
选项:
auto
,exact
,approx
,hist
,这是一组常用的更新程序的组合。对于其他更新程序(如 refresh),直接设置更新程序参数。auto
: 与 hist 树方法相同exact
: 精确的贪心算法。枚举所有分割候选项approx
: 使用分位数草图和梯度直方图的近似贪心算法hist
: 更快的直方图优化近似贪心算法
-
scale_pos_weight [默认值=1]
控制正负权重的平衡,对于不平衡的类别很有用。一个考虑的典型值是:负实例总和 / 正实例总和。更多讨论请参见参数调整。另请参见 Higgs Kaggle 竞赛演示:R,py1,py2,py3。
updater
定义要运行的树更新程序序列的逗号分隔字符串,以一种模块化的方式构建和修改树。这是一个通常根据其他一些参数自动设置的高级参数。但是,用户也可以显式设置它。存在以下更新程序:
- grow_colmaker: 非分布式基于列的树构建。
- grow_histmaker: 基于全局直方图计数提出的基于行的数据拆分的分布式树构建。
- grow_quantile_histmaker: 使用量化直方图生长树。
- grow_gpu_hist: 当 tree_method 设置为 hist 且设备为 cuda 时启用。
- grow_gpu_approx: 当 tree_method 设置为 approx 且设备为 cuda 时启用。
- sync: 同步所有分布式节点中的树。
- refresh: 根据当前数据刷新树的统计信息和/或叶值。请注意,不执行数据行的随机子采样。
- prune: 剪除损失 < min_split_loss(或 gamma)的拆分和深度大于 max_depth 的节点。
- refresh_leaf [默认值=1]:这是刷新更新程序的参数。当此标志为 1 时,树叶以及树节点的统计信息都会更新。当它为 0 时,仅更新节点统计信息。
-
process_type
[默认值= default]- 要运行的提升过程的类型
-
选项:
default
,update
default
: 创建新树的正常提升过程。update
: 从现有模型开始,仅更新其树。在每个提升迭代中,从初始模型中取出一棵树,为该树运行指定的更新程序序列,然后将修改后的树添加到新模型中。新模型的树数量可能相同或更小,具体取决于执行的提升迭代数。当前,以下内置更新程序可以有意义地与此进程类型一起使用:refresh
、prune
。使用process_type=update
时,不能使用创建新树的更新程序。
-
grow_policy
[默认值= depthwise]-
控制将新节点添加到树的方式。
-
目前仅在
tree_method
设置为hist
或approx
时受支持。 -
选项:
depthwise
,lossguide
depthwise
: 在最靠近根部的节点处拆分lossguide
: 在损失变化最大的节点处拆分
-
-
max_leaves
[默认值=0]- 要添加的最大节点数。在精确的树方法中不使用。
-
max_bin
[默认值=256]- 仅在
tree_method
设置为hist
或approx
时使用 - 要将连续特征分桶的最大离散
bin
数量 - 增加此数字会提高拆分的最优性,但会增加计算时间
- 仅在
-
num_parallel_tree
[默认值=1]- 在每次迭代期间构建的并行树的数量。此选项用于支持增强型随机森林。
-
monotone_constraints
- 变量单调性的约束
-
interaction_constraints
- 表示允许的交互关系的交互约束。约束必须以嵌套列表的形式指定,例如 [[0, 1], [2, 3, 4]],其中每个内部列表是允许相互作用的特征的索引组
-
multi_strategy [默认值= one_output_per_tree]
- 用于训练多目标模型(包括多目标回归和多类分类)的策略
one_output_per_tree
: 每个目标一个模型。multi_output_tree
: 使用多目标树。
-
max_cached_hist_node
[默认值= 65536]- CPU 直方图的最大缓存节点数
- 对于大多数情况,不应设置此参数,除非在 CPU 上生长深树
分类特征的参数
-
max_cat_to_onehot
- 用于决定 XGBoost 是否应基于独热编码拆分分类数据的阈值。当类别数小于该阈值时,选择独热编码,否则将类别分为子节点。
-
max_cat_threshold
- 每次拆分考虑的最大类别数。仅由基于分区的拆分使用,以防止过拟合。
Dart Booster 的附加参数 (booster=dart)
使用 DART booster 进行预测
如果 booster 对象是 DART 类型,
predict()
将执行 dropout 操作,即只有一部分树将被评估。如果数据不是训练数据,这将导致产生不正确的结果。为了在测试集上获得正确的结果,将iteration_range
设置为非零值,例如:python 复制代码 preds = bst.predict(dtest, iteration_range=(0, num_round))
这里,
num_round
是训练期间使用的 boosting 轮数或迭代次数。设置iteration_range
确保对于预测使用了指定迭代次数之前的所有树。
-
sample_type
[默认值=uniform
]-
采样算法的类型。
uniform
: 选择的被丢弃的树是均匀的weighted
: 选择的被丢弃的树与其权重成比例
-
-
normalize_type
[默认值=tree
]-
归一化算法的类型
-
tree
: 新树的权重与每个被丢弃的树相同- 新树的权重为
1 / (k + learning_rate)
- 被丢弃的树按比例缩放,缩放因子为
k / (k + learning_rate)
- 新树的权重为
-
forest
: 新树的权重与所有被丢弃的树(森林)的权重之和相同。- 新树的权重为
1 / (1 + learning_rate)
- 被丢弃的树按比例缩放,缩放因子为
1 / (1 + learning_rate)
- 新树的权重为
-
-
-
rate_drop
[默认值=0.0]dropout
丢弃率(在丢弃期间要丢弃的先前树的比例)- 范围: [0.0, 1.0]
-
one_drop
[默认值=0]- 启用此标志时,总是在丢弃期间至少丢弃一棵树
-
skip_drop
[默认值=0.0]-
在 boosting 迭代期间跳过 dropout 过程的概率
- 如果跳过 dropout,新树将以与
gbtree
相同的方式添加 - 非零的
skip_drop
具有比rate_drop
或one_drop
更高的优先级。
- 如果跳过 dropout,新树将以与
-
范围: [0.0, 1.0]
-
线性助推器的参数 (booster=gblinear)
-
lambda
[默认值=0, 别名:reg_lambda
]- 权重的 L2 正则化项。增加此值会使模型更为保守,归一化为训练样本的数量。
-
alpha
[默认值=0, 别名:reg_alpha
]- 权重的 L1 正则化项。增加此值会使模型更为保守,归一化为训练样本的数量。
-
updater
[默认值=shotgun
]-
拟合线性模型的算法选择。
shotgun
: 基于shotgun
算法的并行坐标下降算法。使用 ‘hogwild’ 并行性,因此在每次运行时产生非确定性解coord_descent
: 普通坐标下降算法。也是多线程的,但仍会产生确定性解。当将 device 参数设置为 cuda 或 gpu 时,将使用 GPU 变体
-
-
feature_selector
[默认值=cyclic
]-
特征选择和排序方法。
cyclic
: 通过逐个循环遍历特征的确定性选择shuffle
: 与 cyclic 类似,但在每次更新之前对特征进行随机排序random
: 随机(带替换)的坐标选择器greedy
: 选择梯度幅度最大的坐标。它的复杂度为O(num_feature^2)
。它是完全确定性的。通过将top_k
参数设置为每组具有最大幅度的单变量权重变化的top_k
特征数,可以将选择限制为每组,从而将复杂性降低到O(num_feature*top_k)
thrifty
: 节省,近似贪婪的特征选择器。在循环更新之前,以它们的单变量权重变化的幅度降序重新排列特征。此操作是多线程的,并且是二次贪婪选择的线性复杂性近似。通过将top_k
参数设置为每组具有最大幅度的单变量权重变化的top_k
特征数,可以将选择限制为每组
-
-
top_k
[默认值=0]- 在贪婪和节约特征选择器中选择的顶部特征数。值为 0 表示使用所有特征。
学习任务参数
指定学习任务以及相应的学习目标。以下是目标选项:
-
objective
[默认值=reg:squarederror
]-
reg:squarederror
: 带平方损失的回归 -
reg:squaredlogerror
: 带平方对数损失的回归12[log(pred+1)−log(label+1)]2\frac{1}{2}[log(pred + 1) - log(label + 1)]^221[log(pred+1)−log(label+1)]2。要求所有输入标签都大于-1 -
reg:logistic
: 逻辑回归,输出概率。 -
reg:pseudohubererror
: 带Pseudo Huber
损失的回归,是绝对损失的两倍可微替代 -
reg:absoluteerror
: 带 L1 误差的回归。当使用树模型时,叶值在树构建后会刷新。如果在分布式训练中使用,则叶值计算为所有工作节点的平均值,不能保证是最优的 -
reg:quantileerror
: 分位数损失,也称为钉扣损失。有关其参数的信息,请参见后续章节和分位数回归,了解实际示例 -
binary:logistic
: 用于二分类的逻辑回归,输出概率 -
binary:logitraw
: 用于二分类的逻辑回归,输出 logistic 转换之前的分数 -
binary:hinge
: 用于二分类的合页损失。这会产生 0 或 1 的预测,而不是生成概率 -
count:poisson
: 用于计数数据的泊松回归,输出泊松分布的均值。- 在泊松回归中,默认将 max_delta_step 设置为 0.7
-
survival:cox
: 用于右截尾生存时间数据的 Cox 回归(将负值视为右截尾)。预测以风险比例尺返回(即,在比例风险函数 h(t)=h0(t)∗HRh(t) = h0(t) * HRh(t)=h0(t)∗HR 中作为 HR=exp(marginal_prediction)HR=exp(marginal_prediction)HR=exp(marginal_prediction)) -
survival:aft
: 用于截尾生存时间数据的加速失效时间模型 -
multi:softmax
: 使用 softmax 目标让 XGBoost 执行多类别分类,还需要设置 num_class(类别数) -
multi:softprob
: 与 softmax 相同,但输出一个大小为 ndata * nclass 的向量,可以进一步重塑为 ndata * nclass 矩阵。结果包含每个数据点属于每个类别的预测概率 -
rank:ndcg
: 使用 LambdaMART 进行成对排序,最大化归一化折扣累积增益(NDCG)。此目标支持点击数据的位置去偏 -
rank:map
: 使用 LambdaMART 进行成对排序,最大化均值平均精度(MAP) -
rank:pairwise
: 使用 LambdaRank 进行成对排序,使用 ranknet 目标 -
reg:gamma
: 伽玛回归,采用对数链接。输出是伽玛分布的均值。它可能对建模保险索赔强度或任何可能服从伽玛分布的结果很有用 -
reg:tweedie
: 带对数链接的 Tweedie 回归。它可能对建模保险总损失或任何可能服从 Tweedie 分布的结果很有用
-
-
base_score
- 所有实例的初始预测得分,全局偏差
- 在训练之前,该参数会在选择的目标函数中被自动估算。要禁用估算,请指定一个实数参数。
- 如果提供
base_margin
,则不会添加base_score
- 对于足够数量的迭代次数,更改此值将不会产生太大的影响
-
eval_metric
[默认值根据目标函数而定]-
验证数据的评估指标,根据目标函数分配默认指标(回归使用
rmse
,分类使用logloss
,排名使用rank:map
的均值平均精度等)。 -
用户可以添加多个评估指标
-
以下是可用的选择:
rmse
:均方根误差rmsle
:均方根对数误差mae
:平均绝对误差mape
:平均绝对百分比误差mphe
:平均伪 Huber 误差logloss
:负对数似然error
:二元分类错误率error@t
:可通过 ‘t’ 参数指定不同于 0.5 的二元分类阈值值merror
:多类分类错误率mlogloss
:多类 loglossauc
:ROC 曲线下的面积,可用于分类和学习排序任务aucpr
:PR 曲线下的面积,可用于分类和学习排序任务pre
:Precision at Kndcg
:归一化折现累积增益map
:平均精度均值ndcg@n
、map@n
、pre@n
:可以将 n 分配为一个整数,以截断用于评估的列表中的前 n 个位置ndcg-
、map-
、ndcg@n-
、map@n-
:在 XGBoost 中,NDCG 和 MAP 在没有任何正样本的列表的分数是1, 通过在评估指标名称后附加“-”,可以要求 XGBoost 将这些分数评估为 0,以在某些条件下保持一致性poisson-nloglik
:泊松回归的负对数似然gamma-nloglik
:伽玛回归的负对数似然cox-nloglik
:Cox 比例风险回归的负偏导数对数似然- gamma-deviance:伽玛回归的残差离差
- tweedie-nloglik:Tweedie 回归的负对数似然(在 tweedie_variance_power 参数的指定值处)
aft-nloglik
:加速失效时间模型的负对数似然。有关详细信息,请参阅加速失效时间的生存分析interval-regression-accuracy
:预测标签落在区间被审查标签中的数据点的比例。仅适用于区间被审查的数据。有关详细信息,请参阅加速失效时间的生存分析
-
-
seed
[默认值=0]- 随机数种子
-
seed_per_iteration
[默认值= false]- 通过迭代数确定性地设置PRNG种子
Tweedie回归的参数(objective=reg:tweedie)
-
tweedie_variance_power
[默认值=1.5]- 控制Tweedie分布方差的参数
var(y) ~ E(y)^tweedie_variance_power
- 范围:(1,2)
- 设置接近2以转向伽玛分布
- 设置接近1以转向泊松分布
- 控制Tweedie分布方差的参数
使用Pseudo-Huber(reg:pseudohubererror)的参数
huber_slope
:用于定义δ\deltaδ的Pseudo-Huber损失的参数。[默认值=1.0]
使用Quantile Loss(reg:quantileerror)的参数
quantile_alpha
:一个标量或目标分位数的列表
使用AFT Survival Loss(survival:aft)和AFT metric(aft-nloglik)的参数
aft_loss_distribution
:概率密度函数,可以是norma
l、logistic
或者extreme
用于学习排序(rank:ndcg、rank:map、rank:pairwise)的参数
这些是特定于学习排名任务的参数。
-
lambdarank_pair_method
[默认=mean]:构建用于成对学习的对的方法。mean
:为查询列表中的每个文档采样lambdarank_num_pair_per_sample对。topk
:专注于排名在模型排序的前lambdarank_num_pair_per_sample
的文档。为每个文档构建lambdarank_num_pair_per_sample
对。
-
lambdarank_num_pair_per_sample
[range= [1,∞][1, \infty][1,∞] ]- 它指定在pair方法为
mean
时为每个文档采样的对数,或者在pair方法为topk
时为查询截断的级别。例如,要使用ndcg@6
进行训练,需将lambdarank_num_pair_per_sample
设置为6,并将lambdarank_pair_method
设置为topk。
- 它指定在pair方法为
-
lambdarank_unbiased
[默认=false
]:指定是否需要对输入点击数据进行去偏。 -
lambdarank_bias_norm
[默认=2.0]:LpL_pLp去偏的位置归一化,默认为L2L_2L2。仅在lambdarank_unbiased
设置为true
时相关。 -
ndcg_exp_gain
[默认=true]:-
是否应该使用NDCG的指数增益函数。有两种NDCG的增益函数形式:
- 一种是直接使用相关值
- 另一种是使用2rel−12^{rel} - 12rel−1,以便强调检索相关文档。
-
当
ndcg_exp_gain为true
(默认值)时,相关度不能大于31
-
命令行参数
以下参数仅用于XGBoost的控制台版本:
-
num_round
:提升轮数 -
data
:训练数据路径 -
test:data
:测试数据路径,用于进行预测 -
save_period
[默认=0]:、 -
保存模型的周期。设置
save_period=10
表示每10轮XGBoost将保存模型。将其设置为0表示在训练过程中不保存任何模型。 -
task
[默认=train]:选项:train
、pred
、eval
、dump
train
:使用数据进行训练pred
:为test:data
进行预测eval
:用于评估由eval[name]=filename
指定的统计信息dump
:用于将学到的模型转储为文本格式
-
model_in
[默认=NULL
]:- 输入模型的路径,对于
test
、eval
、dump
任务是必需的。如果在训练中指定了它,XGBoost将从输入模型继续训练。
- 输入模型的路径,对于
-
model_out
[默认=NULL
]:- 训练完成后输出模型的路径。如果未指定,XGBoost将输出文件,文件名类似于
0003.model
,其中0003是提升轮数。
- 训练完成后输出模型的路径。如果未指定,XGBoost将输出文件,文件名类似于
-
model_dir
[默认=models/
]:在训练期间保存模型的输出目录 -
fmap
:特征映射,用于转储模型 -
dump_format
[默认=text
]:选项:text
、json
- 模型转储文件的格式
-
name_dump
[默认=dump.txt
]:模型转储文件的名称 -
name_pred
[默认=pred.txt
]:预测文件的名称,在pred模式中使用 -
pred_margin
[默认=0]:预测边际而不是转换后的概率
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取==🆓