《机器学习》周志华课后习题答案——第三章 (1-7题)

《机器学习》周志华课后习题答案——第三章 (1-7题)


一、试析在什么情形下式(3.2)中不必考虑偏置项b.

请添加图片描述
①b与输入毫无关系,如果没有b,y‘=wx必须经过原点
②当两个线性模型相减时,消除了b。可用训练集中每个样本都减去第一个样本,然后对新的样本做线性回归,不用考虑偏置项b。

二、试证明,对于参数w,对率回归的目标函数(3.18)是非凸的,但其对数似然函数(3.27)是凸的.

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

三、编程实现对率回归,并给出西瓜数据集3.0α上的结果.

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

四、选择两个UCI数据集,比较10折交叉验证法和留–法所估计出的对率回归的错误率.

请添加图片描述
请添加图片描述
请添加图片描述

五、编程实现线性判别分析,并给出西瓜数据集3.0a上的结果.

请添加图片描述
请添加图片描述

六、线性判别分析仅在线性可分数据上能获得理想结果,试设计一个改进方法,使其能较好地用于非线性可分数据

在当前维度线性不可分,可以使用适当的映射方法,使其在更高维度上可分,典型的方法有KLDA,可以很好的用于非线性可分数据。

七、令码长为9,类别数为4,试给出海明距离意义下理论最优的ECOC二元码并证明之.

对于ECOC二元码,当码长为2^n时,知晓可以使2n个类别达到最优间隔,他们的海明距离为
2^(n-1),比如长度为8时,可以的序列为:
请添加图片描述
其中4,5,6行是对1,2,3行的取反。若分类数为4,一共可能的分类器,就是码长为9的最优分类器。

  • 24
    点赞
  • 198
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
1. 什么是泛化能力?泛化能力和过拟合之间有什么关系? 泛化能力是指模型在新的、未见过的数据上的表现能力。模型的泛化能力与其对训练数据的拟合程度有关,通常来说,过拟合的模型泛化能力较差。 2. 什么是交叉验证?交叉验证的作用是什么? 交叉验证是一种通过将数据集分成若干个子集来进行模型评估的方法。具体地,将数据集分成k个子集,每个子集都轮流作为测集,其余子集作为训练集,重复k次,最终得到k个模型的评估结果的平均值。交叉验证的作用是提高模型评估的可靠性和泛化能力。 3. 留出法、k折交叉验证和留一法的区别是什么?它们各自适用于什么情况? 留出法是将数据集分成两部分,一部分作为训练集,另一部分作为测集。留出法适用于数据集较大的情况。 k折交叉验证是将数据集分成k个子集,每个子集都轮流作为测集,其余子集作为训练集,重复k次,最终得到k个模型的评估结果的平均值。k折交叉验证适用于数据集较小的情况。 留一法是k折交叉验证的一种特殊情况,即将数据集分成n个子集,每个子集都作为测集,其余子集作为训练集,重复n次。留一法适用于数据集较小且样本数较少的情况。 4. 为什么要对数据进行预处理?数据预处理的方法有哪些? 数据预处理可以提高模型的表现,并且可以减少过拟合的风险。数据预处理的方法包括:标准化、归一化、缺失值填充、特征选择、特征降维等。 5. 什么是特征选择?特征选择的方法有哪些? 特征选择是指从所有特征中选择出对模型预测结果有重要贡献的特征。特征选择的方法包括:过滤式方法、包裹式方法和嵌入式方法。其中,过滤式方法是基于特征间的关系进行特征选择,包裹式方法是基于模型的性能进行特征选择,嵌入式方法是将特征选择嵌入到模型训练中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值