机器学习的理论知识点总结

最近一边看书，一边梳理机器学习的知识点：

1. 线性回归

2.线性回归的损失函数（误差的平方和）

3. 最小二乘法(手推导)

4.批量梯度下降法（学习率大小问题）

5.放缩scaling对梯度下降的影响

6.多元线性回归

7.逻辑斯蒂回归-二元分类

8.LR代价函数

9.神经网络

10.前向传播和后向传播

11.神经网络过程

12.模型选择和交叉验证

13.高偏差和高方差

14.偏差和方差（欠拟合和过拟合）

15.学习率

16.模型评价  混淆矩阵  准确率和召回率  F1值，ROC曲线和auc的含义

17.无监督聚类 k-means  迭代算法和过程   选择聚类数的动机  聚类相似度和距离的度量  中心点随机初始化   代价函数   容易陷入局部最小值  解决办法多运行几次取loss最小的，降维  数据可视化   PCA。

18.