集成学习-机器学习基础笔记

作业解答

• 线性回归的最小二乘表达：
  假设自变量和因变量满足线性关系$y=w^{T}x$，则采用此模型预测值与真实值的差值为$w^T{x}_i-y_i$，因为这样
  每一项相加不能反应真实的偏离水平，加上计算方便，所以采用L2范数：
  $$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2=(w^T{X}^T-Y^T)(w^T{X}^T-Y^T{)}^T$$
  对其进行求导：
  $$\frac{\partial L(w)}{\partial w}=2X^T\ast (w^T{X}^T-Y^T{)}^T$$
  令其等于0得$w=(X^{T}X{)}^{-1}{X}^{T}Y$
• 线性回归中最小二乘和MLE得区别：
  线性回归的最小二乘估计<==>噪声𝜖∽𝑁(0,𝜎2)的极大似然估计
  最小二乘法以估计值与观测值的差的平方和作为损失函数，极大似然法则是以最大化目标值的似然概率函数为目标函数，从概率统计的角度处理线性回归并在似然概率函数为高斯函数的假设下同最小二乘建立了的联系。
• 多项式回归在实际问题中表现不好得原因：
  实际数据中往往数据很难找到线性关系，多项式回归的项数不好确定，同时多项式回归中乘积项很容易具有相关性
• 决策树与线性模型的联系与区别：

1. 联系是都可以用于回归和分类。
2. 树模型常用于特征空间复杂，难以用线性关系描述的情况。
   线性模型着眼于整个数据集的拟合，对数据整体的全局结构的分析优于决策树，但缺乏探查局部结构的机制；而决策树采用分隔的方法，能够深入数据内部，对局部结构的分析优于逻辑回归，但一旦分层形成将切断不同层面节点间可能存在的关系。
3. 逻辑回归通常情况下不需要考虑数据量的问题；而决策树由于切分，节点数目增多样本数量降低，分层数目收到数据量的限制。逻辑回归模型较为简单，不容易产生过拟合。决策树容易产生过拟合，通常通过剪枝避免产生过拟合。

• KKT条件：
  从理解角度来说，KKT条件是判断极值点的必要条件，也就是说如果是极值点那么必定满足KKT条件，所以求得点之后还要带入验证。
• 为什么引入原问题的对偶问题：
  是因为原问题与对偶问题就像是一个问题两个角度去看，如利润最大与成本最低等。有时侯原问题上难以解决，但是在对偶问题上就会变得很简单。再者，任何一个原问题在变成对偶问题后都会变成一个凸优化的问题，凸优化问题是机器学习的解决范畴。