【涨知识】2020-03-08

标题最小二乘与梯度下降的区别

参考链接：(https://blog.csdn.net/zaishuiyifangxym/article/details/93787233?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task)
总的来说，在机器学习中，最小二乘法只适用于线性模型(这里一般指线性回归)；而梯度下降适用性极强，一般而言，只要是凸函数，都可以通过梯度下降法得到全局最优值(对于非凸函数，能够得到局部最优解)。梯度下降法只要保证目标函数存在一阶连续偏导，就可以使用。

奇异矩阵

奇异矩阵是线性代数的概念，就是该矩阵的秩不是满秩。
首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵，若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。

逻辑回归共线性问题

pca, 逐步回归, 岭回归（l2正则），lasso回归(l1正则)
https://www.jianshu.com/p/ef1b27b8aee0?from=timeline

kmeans 优缺点

https://www.cnblogs.com/pinard/p/6164214.html

PCA 数学原理

http://blog.codinglabs.org/articles/pca-tutorial.html

数据倾斜

https://blog.csdn.net/chyeers/article/details/78320778?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

贝叶斯平滑

https://www.ruanyifeng.com/blog/2012/03/ranking_algorithm_bayesian_average.html