图解机器学习-------各种最小二乘

1.降维

2.神经网络模型

3.最小二乘法

4.随机梯度算法更多用于处理大规模数据
5.部分空间约束的最小二乘就是参数theta的选择只能在固定的取值范围或几个选定的值内选取。好处：防止过拟合

6.l2约束的最小二乘学习法


好处：加入正则项防止过拟合
7.一般l2约束的最小二乘学习法

8.稀疏学习
当参数特别多时，把大部参数置为0，这样就可以快速求解各参数，以及学习得到函数的输出值。
9.l1约束的最小二乘学习法



10.l1范数与l2范数比较
主要是：l2范数的参数全为非0，l1范数的参数可以取为0

怎么选哪些参数应该为0，以此构建稀疏解



11.lp约束最小二乘学习法

注意：最小二乘学习法容易受异常值影响如下：

二、提高算法的泛化性能

1.l2损失测定方法与l1损失测定方法比较：

l2用平方级（最小二乘），l1用绝对值（最小绝对值偏差）
对比：
l1:

l2:

?❤️差别原因：

2.HUBER损失（即对训练集有较高的训练结果，有对未知数据集有较好的扩展）
其实质：就是对l2损失与l1损失的结合（原因是：l2异常对其影响太大，l1拟合很好，但学习效果不一定好。maybe??）
通过对huber损失使用上界，使其变为加权最小二乘学习算法，然后对加权最小二乘学习算法进行反复迭代到一个收敛，得到最后的函数，使其具有较好可扩展性与准确性。

❤️奇迹时刻：他们写论文都喜欢这么写（来让我们一起排列组合吧）
l1约束的huber损失，l1约束的l2损失，l2约束的huber损失。。。。

❤️拓展：超参数
定义：在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
（也就是说是训练之前人为定的参数，不是机器自己用比如gradient desent 学习的参数）

❤️0/1损失
好处：不注重每一个函数值具体是多少，只关注其是0还是1.所以比l2损失效果更好。