学习机器学习的时候有涉及到共轭函数(也叫对偶函数),这边文章总结一下共轭函数的学习
共轭函数的定义:对于函数 其定义如下:
表示函数
的定义域,可以这样理解这个函数:首先它是关于
的函数,给定一个
值时,关于
的函数
在定义域上的最大值,即
对应的值
共轭函数在支持向量机的数学理论证明有涉及过,在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用(听说待学习)
因为它有两个非常好的性质:
1. 无论是否是凸函数,其共轭函数都是凸函数
2. 凸函数的共轭函数的共轭函数是它自己
首先解释一下凸函数,机器学习里面的的凸函数和以前高中数学学到的凸函数有点不一样,在机器学习里面 是凸函数,
是凹函数,简单来说,机器学习里面的凸函数有下面的性质(也是凸函数的定义之一):