机器学习知识点整理

简介

主要是机器学习相关知识点

术语

• 超参数
  在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

• 相关性分析与回归分析
  1、相关性分析相当于先检验一下众多的自变量和因变量之间是否存在相关性，当然通过相关分析求得相关系数没有回归分析的准确。

  如果相关分析时各自变量跟因变量之间没有相关性 ，就没有必要再做回归分析；如果有一定的相关性了，然后再通过回归分析进一步验证他们之间的准确关系。

  同时 相关分析还有一个目的，可以查看一下 自变量之间的共线性程度如何，如果自变量间的相关性非常大，可能表示存在共线性。

  2、相关分析只是了解变量间的共变趋势，我们只能通过相关分析确定变量间的关联，这种关联是没有方向性的，可能是A影响B，也可能是B影响A，还有可能是A与B互相影响，相关分析没法确定变量间的关联究竟是哪一种。

  而这就是我们需要使用回归分析解决的问题，我们通过回归分析对自变量与因变量进行假设，然后可以验证变量间的具体作用关系，这时的变量关系就是有具体方向性的了。

  所以相关分析通常也会被作为一种描述性的分析，而回归分析得到的结果更为重要和精确。

• 共线性

• 偏差、方差

  偏差度量了学习算法期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；

  方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；

• 梯度爆炸和梯度消失
  博客链接

  出现原因：梯度消失和梯度爆炸是因为在神经网络中，由于网络层数增多，导致求取的梯度趋于 $\infty$（梯度爆炸）和趋于 0（梯度消失）的情况。参考链接

  解决梯度消失和梯度爆炸的方法：

  1. 梯度剪切：防止梯度爆炸，即当梯度超过一定阈值则将梯度限制在这个阈值范围内
  2. 正则化项：
     $$L$$