机器学习(周志华)第三章习题3.10的理解

10.试推出多分类代价敏感学习(仅考虑基于类别的错误分类代价)使用“再缩放”能获得理论最优解的条件。

个人理解,题目的重点是能否获得最优解,以及获得最优解的条件。

能获得理论最优解的条件是其二阶导数>0。

再缩放之后,二分类情况下,预测为正例的可能性从y变为{y}'=\frac{y*cost^-}{cost^++y(cost^--cost^+)}

多分类情况下,y'变为y_{i}^{'},再带入估计函数。

在对ω和b进行估计的时候,需要看y对估计函数的二阶导数的值是否有影响,若有影响,则需进一步分析y和分类代价的取值范围(即条件),若无影响,y和分类代价值可能会对求解过程有影响。

同时,如书中所说,再缩放的实际操作并不平凡。不知道这个问题是否也会影响求理论最优解。

对于题目中要求的推导,不太清楚要怎么做。

1. 什么是泛化能力?泛化能力和过拟合之间有什么关系? 泛化能力是指模型在新的、未见过的数据上的表现能力。模型的泛化能力与其对训练数据的拟合程度有关,通常来说,过拟合的模型泛化能力较差。 2. 什么是交叉验证?交叉验证的作用是什么? 交叉验证是一种通过将数据成若干个子来进行模型评估的方法。具体地,将数据成k个子每个都轮流作为测试,其余子作为训练,重复k次,最终得到k个模型的评估结果的平均值。交叉验证的作用是提高模型评估的可靠性和泛化能力。 3. 留出法、k折交叉验证和留一法的区别是什么?它们各自适用于什么情况? 留出法是将数据成两部,一部作为训练,另一部作为测试。留出法适用于数据较大的情况。 k折交叉验证是将数据成k个子每个都轮流作为测试,其余子作为训练,重复k次,最终得到k个模型的评估结果的平均值。k折交叉验证适用于数据较小的情况。 留一法是k折交叉验证的一种特殊情况,即将数据成n个子每个都作为测试,其余子作为训练,重复n次。留一法适用于数据较小且样本数较少的情况。 4. 为什么要对数据进行预处理?数据预处理的方法有哪些? 数据预处理可以提高模型的表现,并且可以减少过拟合的风险。数据预处理的方法包括:标准化、归一化、缺失值填充、特征选择、特征降维等。 5. 什么是特征选择?特征选择的方法有哪些? 特征选择是指从所有特征中选择出对模型预测结果有重要贡献的特征。特征选择的方法包括:过滤方法、包裹方法和嵌入方法。其中,过滤方法是基于特征间的关系进行特征选择,包裹方法是基于模型的性能进行特征选择,嵌入方法是将特征选择嵌入到模型训练中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值