统计学习方法笔记-概述

小知识点：

法向量：垂直于平面的直线所表示的向量为该平面的法向量

法向量一般是方程的系数，比如：Ax+By+Cz+d = 0，那么法向量就是(A,B,C)

证明如下：

一、范数：

L0范数：向量中非0元素的个数

L1范数：向量中各元素的绝对值之和

L2范数：向量中各元素的平方和然后求平方根

二、经验风险与结构化风险：

经验风险：

在假设空间、损失函数以及训练数据集确定的情况下，经验风险函数式就可以确定，经验风险最小化的策略认为经验风险最小的模型是最优的模型。根据这一策略，按照经验风险最小化来求解最优模型就是求解最优化问题：

                

结构化风险：