机器学习预备知识

 

匆忙之中将凌乱的学习摘录记录于此，有胜于无吧。

涉及部分预备知识，比较杂乱。

线性代数

1.内积

 

2.范数

 

3.正交

 

4.二次型

 

 

运筹学

1.线性规划

线性规划的求解方法：图解法、单纯形法等。

 

2. 对偶问题

 

3. 二次规划

二次规划求解过程，转化成对偶问题，以及利用拉格朗日乘子和KKT条件是关键。

可以参照 周志华《机器学习》附录部分的拉格朗日乘子法的知识以及《运筹学》中提到的KT条件等进行理解。

 

本篇知识主要为 支持向量机（SVM）铺路。

其实还有很多重要的基础知识，比如特征值与特征向量等等知识，都是值得进一步理解的。

 

----------------------------------------------------------------------------------

2018/10/02 补充

学习路上吃了很多亏，无法及时的将所学的东西运用起来。时间不够用啊，我的专业不是这个方向，有很多事情等着我去做呢，这个时候最高效的方式是先了解如何使用，然后练习即可。学有余力再去专研其理论知识（人生苦短）。以今天的经验教训来看，本文的这些东西，以后不要再纠结了，尽量不要把时间花在这方面。

----------------------------------------------------------------------------------

协方差：  若X与Y互相独立，则协方差为0；协方差是描述X和Y相关程度的。协方差用来衡量两个变量的总体误差；方差是协方差的特殊情况（单个变量的误差）。

相关系数（Pearson 相关系数）： ， 其中D 表示方差。

线性判别分析：找一个投影方式使得投影后，类内方差尽量小，类间差别尽量大（类间均值差别大）。即使如下度量尽可能大

       , 其中  表示类内均值，表示类内散列值（越大越分散）。

----------------------------------------------------------------------------------

参考资料：

1. 《工程数学 线性代数》 同济大学，第六版。

2. 《运筹学》清华大学，第三版。

3. 《机器学习》周志华著。