周志华《机器学习》西瓜书-第十章-习题

最新推荐文章于 2023-07-23 16:09:50 发布

nilgnaw

最新推荐文章于 2023-07-23 16:09:50 发布

阅读量9k

点赞数 17

文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/nilgnaw/article/details/108249992

版权

周志华《机器学习》西瓜书第十章的习题答案较少，只找到了两篇，见文末链接，以下是个人对这章的习题的理解，如有问题，欢迎指正。其中第一题和第六题网上答案较多，不再重复。

10.2关于err,err*不等式的证明

这里|y|是类的数量。

10.3“中心化”，常见的方法是将协方差矩阵转换为，其中H= $I-\frac{1}{m}(1)(1^T)$ 。

中心化，即 $X=X-\bar{X}$ ，X为dxm维， $X=[X_{1},X_{2},...X_{m}]$ ，

1为mx1维的全1列向量， $1_{m}=[1,1,...,1]^T$ ，

$\bar{X}=[\bar{x},\bar{x},...,\bar{x}]=\bar{x}1_{m}^T$ ，其中 $\bar{x}=\frac{1}{m}X1_{m}$ ，是dx1维的。

所以有 $X-\bar{X}=X-\bar{x}1_{m}^T=X-\frac{1}{m}X1_{m}1_{m}^T=X(I-\frac{1}{m}1_{m}1_{m}^T)$ 。

10.4由中心化后的样本矩阵X的奇异值分解代替，试讲述原因。

等价：X的奇异值分解为 $X=U\Sigma V^T$ ， $XX^T=U\Sigma V^T(U\Sigma V^T)^T=U\Sigma V^TV\Sigma^TU^T$ ，而 V^TV=1 ， U^TU=1 ，因此 $XX^T=U\Sigma \Sigma^TU^T=U\Lambda U^T$ 。对 XX^T 特征分解，有 $XX^T=P\Lambda P^T$ ，只需P=U即可。

另外，用奇异值分解代替特征分解，节省了计算和存储的成本，且计算精度较高。

10.5正交、非正交投影矩阵用于降维的优缺点。

正交：属性间独立，维数更低，耦合性小。
非正交：保留了属性间的联系。
正交投影矩阵还满足最佳逼近定理。

10.7核化线性降维和流形学习之间的联系和优缺点。

联系：都是非线性降维。
KPCA：先升到高维，在高维中是线性的，再用PCA降维。有核方法的一切优势，但计算量较大，核函数难选。新样本值可直接带入。难以兼顾泛化性和效率.
流形学习：可在保持原结构的条件下降维，假设和近似条件较多（只是假设流形存在），解决了部分高维的问题，但不能总适合数据的特点，计算复杂度较高，分类能力较弱（如短路断路问题），低维的维度数难确定，新样本难带入，对噪声敏感，大部分问题目前仍在研究中。

10.8k近邻图和ε近邻图存在的短路和断路问题会给Isomap造成困扰,试设计一个方法缓解该问题。

k与ε联合使用；
网上有论文使用基于聚类的方法和基于优化拓扑结构的方法。

10.9试设计一个方法为新样本找到LLE降维后的低维坐标。

寻找k近邻——>根据式10.28计算wij——>用k近邻的zj和wij线性表示该新样本。

10.10试述如何确保度量学习产生的距离能满足距离度量的四条基本性质。

不是很理解这道题的意思，是不是要求M是半正定的？

参考文章

http://www.lunarnai.cn/2018/12/06/watermelon-chap-10/

https://blog.csdn.net/VictoriaW/article/details/78359362

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。