![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习-point
文章平均质量分 76
哈尔滨张谦蛋
i do
展开
-
机器学习---模型选择---偏差和方差
标.在实际训练一个模型 𝑓(𝒙) 时,训练集 𝒟 是从真实分布 𝑝𝑟(𝒙, 𝑦) 上独立同分采样出来的有限样本集合.不同的训练集会得到不同的模型.令 𝑓𝒟(𝒙) 表示在训练集𝒟 上学习到的模型,一个机器学习算法(包括模型以及优化算法)的能力可以用不同训练集上的模型的平均性能来评价.。则 ℛ(𝑓)= 𝔼𝒙∼𝑝𝑟(𝒙)[(𝑓(𝒙) − 𝑓∗(𝒙))2]+ 𝔼(𝒙,𝑦)∼𝑝𝑟(𝒙,𝑦)[(𝑦 − 𝑓∗(𝒙))2]:模型方差衡量的是模型在不同的训练数据集上预测的变化程度。原创 2023-11-14 11:41:41 · 173 阅读 · 1 评论 -
机器学习---维度灾难
随着维度的增加,数据点之间的距离变得越来越大,导致训练集中的样本变得稀疏。这样一来,模型很容易出现过拟合的问题,因为它很难从有限的样本中准确地捕捉到数据的分布模式。维度灾难还会导致模型的泛化性能下降。由于高维空间中的数据分布复杂且稀疏,模型很难从训练集中学习到真正有用且泛化到新数据的特征。维度灾难是指在高维空间中,数据样本数量相对较少时,数据点之间的距离变得非常稀疏,导致数据分布的不均匀性增加,进而给模型的训练和泛化带来挑战。数据增强:通过合理的数据扩增技术,增加训练集中的样本数量,提高数据的多样性。原创 2023-10-26 23:01:48 · 277 阅读 · 0 评论 -
机器学习---正则化方法
模型取值范围大同样可以训练出一个泛化能力强的模型,但是出现过拟合的几率也大大提升了(可以选择的范围大,自然就选了一整套相互配合起来可以让损失最小的参数,但是这些参数有可能只是在迎合训练集)。Dropout是降低参数量,这样神经元的输入会随机的被失活,下一层神经元不会完全的依赖某一个神经元的输入,这样每个神经元的权重都会降低,这样模型的复杂度也会随之降低,这样Dropout也起到了L2正则化的作用。在损失函数之中,在尾项之中加入L2正则项,为梯度下降加入减小权重的目标,就可以在减小损失的同时减小权重。原创 2023-10-11 20:52:55 · 258 阅读 · 0 评论 -
机器学习---归纳偏执(Inductive Bias)
No-Free-Lunch (不存在免费午餐理论)提出没有先验知识进行学习是不可能的。如果我们不对特征空间有先验假设,则所有算法的平均表现是一样的。原创 2023-10-09 15:59:10 · 422 阅读 · 1 评论