机器学习理论导引（1）

1.凸集：看到这个词，不由联想到凸函数
定义：集合内任意两点连线各点都在该集合内
考虑凸多边形，二者定义关联

2.凸函数代表在定义域中任一点的一阶泰勒展开是其下界

3.一些数学变换能够保持函数的凸性
如凸函数的自变量进行线性变换后 g(x)=f(Ax+b)，该函数仍是凸函数
…

4.共轭函数
求共轭函数
…

5.重要不等式
jensen不等式：期望的函数小于等于函数的期望
Holder不等式
Cauchy-Schwarz不等式
…

6.最优化
线性规划问题：形式表现为一个待最优化式，一些约束式
可以转化为对偶问题，（形如拉格朗日乘法一类的式子）
常通过将拉格朗日乘子对x求导并令导数为0，来获得对偶式进一步表达
KKT条件可以刻画这二者之间的关系

7.支持向量机
…

8.原始空间线性不可分的问题，一条线难以划分，可以映射到高维空间，线变为面即可划分两块空间区域

9.如今调参侠大行其道，理论学习任重而道远