1、范数
范数:是定义在数学空间的一个概念,是定义在赋范线性空间的函数,满足一定条件就可以称他为范数
向量范数和矩阵范数
1.1向量范数
向量范数是衡量向量大小的一种度量方式,向量范数是一个定义域为任意线性空间向量的函数,他把一个向量v映射为一个非负实数R,满足f:v--->R
几个角度上:向量x的范数是度量从原点0到x的距离
广义上说,需要满足如下三个条件:
模型最优化时,范数是正则化的主要手段,最常用的p范数,p属于R,p>=1
几个常用的p--范数,
0范数
表示向量中非0元素的个数
1范数
大小为向量的每个元素的绝对值的和
他的单位范数为:
2范数
2范数通常定义的是模
他的单位范数为:
无穷范数
无穷范数的单位圆,矩形-1
1.2、矩阵范数
对于任意一个函数 f:A--->R
函数满足下面四个条件就可以叫做矩阵范数
矩阵范数的公式是由向量范数诱导出来的
1范数
2范数
无穷范数
F范数
2、矩阵特征值
A为n阶矩阵,若数λ和n维非0列向量x满足Ax=λx,那么数λ称为A的特征值,x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)x=0,并且|λE-A|叫做A 的特征多项式。当特征多项式等于0的时候,称为A的特征方程,特征方程是一个齐次线性方程组,求解特征值的过程其实就是求解特征方程的解。
3、惩罚函数
4、超参数
是训练之前就已经设置好的参数,比如说学习率
超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。通常情况下,在机器学习过程中需要对超参数进行优化,给学习器选择一组最优超参数,以提高学习的性能和效果。比如,树的数量或树的深度,学习率(多种模式)以及k均值聚类中的簇数等都是超参数。
与超参数区别的概念是参数,它是模型训练过程中学习到的一部分,比如回归系数,神经网络权重等。简单的描述参数是模型训练获得的,超参数是人工配置参数(本质上是参数的参数,每次改变超参数,模型都要重新训练)。