![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
return bool(1)的笔记(该系列文章不一定正确!)
文章平均质量分 67
这一系列文档都是个人理解,不一定正确
return bool(1)
遁入尘烟
展开
-
逻辑回归-正则化项缓解特征共线性
由于过拟合本质是过多的特征被启用导致的,导致模型泛化性变差,所以防止过拟合要降低特征的数量,可以通过使 w 个数减少,问题就变成让 W 向量中项的个数最小化,方法就是让 w 变成或趋近于 0,因为向量中 0 元素对应的 x 是没有任何权重的。这里需要注意,参数 C 是正则化项强度的倒数。问题:为什么正则化可以防止过拟合?显然二者都会对共线性有一定的效果。原创 2023-03-22 19:39:39 · 297 阅读 · 1 评论 -
XGBoost-XGBoost 中验证相关参数梳理和解释
evals (Optional[Sequence[Tuple[DMatrix, str]]]) - 在训练时用于指标进行评估的验证集列表。用于验证数据的评估指标,根据不同的目标函数,会分配默认评估指标(回归使用 rmse,分类使用 logloss,排序使用 mean average precision)对于 python 使用者:记得使用参数对列表而不是 map 来传递评估指标,这样之后 eval_metric 不会覆盖之前的参数。这里可以看到,xgb 使用的是 rmse,这是由 params 中的参数。原创 2023-03-03 12:20:54 · 787 阅读 · 0 评论 -
GBDT-f_t(x_i)取值问题的个人理解
这样损失函数就能直接为 0,但此时模型的泛化能力会很弱,整体模型偏差小,方差很大,也就是决策树模型,所以我们要在保证减小损失函数的前提下保证模型的泛化能力,因此就会有。并不会直接使得损失函数为 0,泰勒展开是约等于,只是使得在当前梯度情况下的损失函数最小值,也就是满足。这里需要注意的是,等式左面是平方损失,本身就是平方项,因此必须要大于等于 0,因此其最小值就为 0。,梯度的值也会重新变化,也就是损失函数下降最快的方向就会随之变化,因此我们需要不断更新梯度。,但经过更新后,也就是。从迭代的角度说,其实。原创 2023-02-22 10:12:24 · 293 阅读 · 0 评论 -
GBDT-为什么 GBDT 优于随机森林和决策树
也就是样本和样本的偏差,本身不同树之间的相关系数就比较小,再加上限制树的最大深度很小来进一步降低,通过对树进行剪枝是 GBDT 或者说 boosting 所特有的,无论是决策树还是随机森林,如果进行大刀阔斧的剪枝,一定会导致准确率快速下降,因此在树的结构方面,为了保证偏差,二者不能和 boosting 采取一样的策略。首先要理解的是决策树、随机森林和 GBDT 的偏差都不大。. 所以对于每个基分类器来说,目标就是如何降低这个偏差(bias), 所以我们会采用深度很深甚至不剪枝的决策树。原创 2023-02-23 09:27:02 · 321 阅读 · 0 评论 -
HyperOpt-quniform 范围问题
在使用 quniform 的时候,可能会出现超出指定范围的值,例如对于 GBDT 设置参数空间为。实际上,Hyperopt 对于 quniform 的处理并不是类似于。适用于相对取值仍然有点“平滑”,但应有上下限限制的离散值。因此对于上面的报错我们就可以找到原因了。在优化的时候,这个变量被限制在最大值和最小值中间。进一步,我们需要看一下 uniform 的定义。,而是另一种处理方式,这里可以查看官方文档。返回值介于在 low 和 hight 之间。,但我们并没有把 0 设置在范围内。原创 2023-02-20 11:10:35 · 464 阅读 · 0 评论 -
Anaconda 一直卡在 Initializing
首先看一下是不是和我是同一个问题,强制关闭正在打开的 anaconda,然后断网,尝试打开 anaconda,看是否能打开,如果能,那应该和我的情况一样。我使用 anaconda 并没有联网的需求,因此为了以后使用方便,定义一个出站规则,禁止 anaconda 联网。选择 Windows Defender 防火墙。原创 2023-02-09 15:07:13 · 1917 阅读 · 4 评论 -
随机森林-当算法是回归算法,模型的泛化误差公式推导
是模型在不同数据集上输出的结果的方差,衡量模型稳定性。是数据收集过程当中不可避免的、与数据真实分布无关的信息。因此我们可以得到,学得的算法预测结果的期望为。根据描述,我们来看一下偏差、方差、噪音的公式。是预测值与真实值之间的差异,衡量模型的精度。首先我们假定噪声的期望为 0,也就是。原创 2023-02-04 10:41:32 · 1014 阅读 · 0 评论 -
决策树-使得曼哈顿距离下的组内误差平方和最小的质心是这一组数的中位数
设使得曼哈顿距离下的组内误差平方和最小的质心的坐标为。对于一个一维点集 A,设其中有 C 个点,记作。原创 2023-01-30 15:22:10 · 214 阅读 · 0 评论 -
逻辑回归-为什么逻辑回归predict_proba返回结果按行求和为1
对于一个多分类问题,如果multi_clas桉树被设置为“multinomial” ,则softmax函数会被用于预测每个类别的预测概率。否则,使用ovr方法,即使用sigmoid函数,依次假设每个类为唯一正类,计算每个类别的概率,然后对所有类预测的概率进行归一化。这里没有分成三个小的逻辑回归然后对输出的概率进行求和,一个是我确实没弄出来,其次帮助文档没有提及需要像ovr一样对每个类别设为正类,以及源码中也是直接调用了decision_function直接使用的。再说一下’multinomial’的情况。原创 2023-01-15 10:00:12 · 534 阅读 · 0 评论 -
逻辑回归-为什么模型会更加侧重于学习那些数值比较大的列
取值在非长轴的任意位置,其梯度向量都是近乎或者完全垂直于长轴的,再加上学习率较大,每次迭代后基本到达对侧的相同位置,下次的梯度向量仍然是近乎或者完全垂直于长轴,几乎没有在。的坐标变化图,由此图我们可以大概估计,如果能画出等高线图,等高线应该是一个椭圆形,长轴和。移动一点,却对评估指标作用不大,因此模型会更加侧重于学习那些数值比较大的列。,显然距离解析解还有很远的距离,但此时模型主要还是在调整特征取值大的。只动一小点,评估指标就可以有很大的变化,这要是,但是。平行,且长轴远远长于短轴,这就导致初始的。原创 2022-12-02 10:49:00 · 261 阅读 · 0 评论 -
逻辑回归-关于WOE和IV的一些理解
本文主要解决为什么WOE能用于逻辑回归建模写到最后才发现出问题了这里认为少数类为good,就是正类。原创 2022-11-28 21:32:20 · 938 阅读 · 0 评论 -
支持向量机-关于predict_proba、decision_function
前一篇文章中,对有疑问,为什么比阈值大的标签就是1,反之就是0,本篇文章就是来探讨这个问题,并对decision_function会有更详细的解释首先我们先看二分类的数据,为了便于展示,我们使用二维数据这里为decision_function更好理解,所以我们要画出分离超平面和决策边界。原创 2022-11-15 08:23:11 · 1216 阅读 · 0 评论