机器学习算法思路

1.PCA主成分分析

参考网站：https://blog.csdn.net/hjimce/article/details/45000221

      1）给定二维数据点集P(x,y)，找到散乱点重心坐标P0；

      2）将散乱点所在坐标系改为重心P0为原点，即所有点做相应的平移，所有点减去P0坐标即可（或者叫做坐标系原点移至散乱点重心P0），并构建矩阵M=|P1-P0   P2-P0……Pn-P0|；

      3）构建协方差矩阵A=1/n * (M*MT)；

      4）求A的特征值，特征向量。找到特征值最大的特征向量(方差变化最快的方向)，另外找到垂直于最大特征值对应特征向量的特征向量；

      5）将所有散乱点P(x,y)映射到4）中的特征向量方向上，即各点与4）中的特征向量点乘(P(x,y)*4)的特征向量*cos夹角)。

 

 

2.K-Means聚类

参考网站：https://blog.csdn.net/hjimce/article/details/45200985

1）从N个文档随机选取K个文档作为质心；

2）对剩余的每个文档测量其到每个质心的距离(欧式距离)，并把它归到最近的质心的类；

3）重新计算已经得到的各个类的质心；

4）迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束。

 

3.线性回归

参考网站：

假设一条带参数的直线y=ax+b(二维)，最小化代价函数(每个点到直线的距离和)，用梯度下降法实现。

 

4.逻辑回归

参考网站：https://blog.csdn.net/chibangyuxun/article/details/53148005

      1）找预测函数

      

      2）构建损失函数

      

      3）最小化损失函数

      更新参数

附录：

1)算法实现时间(问题规模-时间复杂度)

2)计算机解决不同时间复杂度提升效果

此附录说明了：指数时间复杂度很难解决的原因-哪怕计算机计算速度提升1000倍，指数时间复杂度的算法也很难提升。

5.分类算法感悟

1）二分类

①一个感知神经元，2个输入变量，可以在平面上模拟一条分割直线，即可以实现线性可分的数据分类；

②多个感知神经元，两个输入变量，可以在平面上模拟多条线段（因为有取值范围限制，所以不是直线），可实现非线性分类。

2）多分类

可以把多个二分类中②结合使用，即可实现多分类。