西瓜书《机器学习》课后答案——chapter11

最新推荐文章于 2023-07-23 17:11:09 发布

Vic时代

最新推荐文章于 2023-07-23 17:11:09 发布

阅读量6.6k

点赞数 6

分类专栏：机器学习文章标签：机器学习周志华课后习题 11章

本文链接：https://blog.csdn.net/VictoriaW/article/details/78533218

版权

本文详细解答了西瓜书《机器学习》第11章的课后习题，涵盖了Relief特征选择算法、Relief-F的算法描述、改进的特征重要性评估以及L1正则化、岭回归与支持向量机的关系、L0范数正则化的挑战、L1范数最小化的闭式解推导、字典学习与压缩感知的异同以及分组稀疏性在字典学习中的应用。通过这些解析，深入理解特征选择和正则化在机器学习中的作用和应用。

摘要由CSDN通过智能技术生成

1. 西瓜书《机器学习》课后答案——chapter11_11.1 Relief特征选择算法

2. 试写出Relief-F的算法描述。
解答：

输入：数据集D
过程：
计算每个类别的比例；
所有特征对应的统计量 $\delta_j = 0$ ；
for i=1:m
$\quad$ 得到 $x_i$ 最近的同类样本 $x_{i,nh}$ ，以及其余类别中的每一个类别的最近样本 $x_{i,l,nm}$
$\quad$ for j=1:d
$\quad\quad$ $\delta_j$ = $\delta_j - \text{diff}(x_i^j,x_{i,nh}^j)^2 + \sum_{l\neq y_i} p_l\text{diff} (x_i^j, x_{i,l,nm}^j)^2$
输出：
所有特征对应的统计量 $\delta$

3. Relief算法是分别考察每个属性的重要性。设计一个能考虑每一对属性重要性的改进算法。
解答：

输入：数据集D
过程：
所有两两特征组合对应的统计量 $\delta_{jk} = 0$ ；
for i=1:m
$\quad$ 得到 $x_i$ 最近的同类样本 $x_{i,nh}$ ，不同类别中的最近样本 $x_{i,nm}$
$\quad$ for j=1:d
$\quad\quad$ for k=1:d
$\quad\quad\quad$ $\delta_{jk}$ = $\delta_{jk} - \text{diff}((x_i^j,x_i^k),(x_{i,nh}^j, x_{i,nh}^k))^2 + \text{diff} ((x_i^j,x_i^k),(x_{i,nm}^j, x_{i,nm}^k))^2$
输出：
所有两两特征对应的统计量矩阵 $\delta$

主要改变在于特征对的统计量的计算，在计算diff()函数上，此时可以把它的输入看做两个向量，计算其欧氏距离来体现样本和其邻居之间在特征对上的距离。

4. 试为LVW设计一个改进算法，即便有运行时间限制，该算法也一定能给出解。
解：
给出一个总的迭代次数约束，当总迭代次数达到约束值时，立即终止算法。

5. 结合图11.2，举例说明 $L_1$ 正则化在何种情形下不能产生稀疏解。
解答：
对照图11.2，图中的抛物线和 $L_0$ 等值线相交在坐标轴上，除了这条等值线之外，这条抛物线只和这条等值线外面的等值线相交，所以导致在这条抛物线上，坐标轴上的交点上的代价值最小。
如果抛物线和这条等值线里面的等值线相交，那么这条抛物线上代价最小的点就不是坐标轴上的这点了。此时不产生稀疏解。