笔记 - 归纳总结（二）

特征工程

机器学习算法

K近邻算法

• 原理

每个样本都能用最接近它的k个邻居代表

• 流程

计算目标与所有样本之间的距离，选出距离最小的前K个样本，K个样本中占比最高的类别即为目标类别

• KNN三要素

K值的选取
距离度量方式
分类决策规则

• K值选取方式

交叉验证

• K值对模型结果的影响

较小的K值，减少训练误差，但容易过拟合
较大的K值，减少泛化误差，但训练误差会上升

• 分类决策规则

分类：
多数表决法，加权表决

回归：
平均法

• 优点 和 缺点

优点：
1. 思想简单，即可分类也可回归
2. 可用于非线性分类
3. 不需要对数据做假设，对异常点不敏感
4. 能处理类域交叉，重叠较多场景

缺点：
1. 计算量大，预测速度较慢，尤其样本，特征非常多的时候
2. 样本不平衡时分类结果不好，对稀有类别的预测准确率比较低
3. 相比决策模型，KNN可解释性不强 

线性回归

逻辑回归

决策树

深度学习算法

其他

正则化

参考博客：
L1、L2正则化知识详解
比较全面的L1和L2正则化的解释

• 正则化是如何防止过拟合的

降低模型复杂度

• L1正则化，L2正则化

正则化通过降低模型复杂度，减少过拟合风险
L1正则化通过稀疏参数（减少参数的数量）来降低模型复杂度，具有特征选择功能
L2正则化通过减小参数的大小来降低模型复杂度

• 为什么L1正则化具有稀疏性，L2正则化却使参数变小

推导 带L1正则 或 L2正则的参数更新公式：

我们发现带L1正则的参数更新倾向减去一个常数，较L2更新更容易趋向0
带L2正则的参数更新倾向于比例放缩，使整体参数变小

BN

参考博客：
不请自来，BN本质上解决的是反向传播过程中的梯度问题。

• BN流程

对同一批次输入的数据进行标准归一化
缩放，偏移

• BN作用

保证同一层输入数据同分布，同时解决了反向传播中梯度爆炸梯度消失问题

每一层输入数据同分布是使用训练集训练模型有效的前提
如果不使用BN，不断的非线性变化使得同一层输入的分布发生了变化（层间Covariate Shift）
使用BN后强制使每一层的输入分布回到均值0方差1的分布中，类似数据预处理步骤中的标准归一化

同时BN的过程中增加两个调节参数（scale和shift）, 避免了由w的scale导致的梯度消失与梯度爆炸问题

• 为什么会出现梯度消失和梯度爆炸

梯度反向传播的核心是链式求导法则
反向传播时，经过该层的梯度要乘以该层的参数

梯度下降

参考博客：
常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）
梯度下降法的推导（非常详细、易懂的推导）
关于梯度下降法和牛顿法的数学推导
梯度下降法和牛顿法的总结与比较
牛顿法与Hessian矩阵

---

• 梯度下降缺点, 批量梯度下降BGD，随机梯度下降SGD，MBGD：

梯度下降缺点：
靠近极小值时收敛速度减慢

BGD优点：
每次迭代参数朝着整体最优的方向更新
BGD缺点：
每次迭代需要计算全部数据，更新速度较慢

SGD优点：
更新参数速度快
SGD缺点：
受噪音影响大，每次迭代不一定朝着整体最优方向更新，容易出现“之”字型下降

• 为什么参数往这个方向更新loss能减少，为什么负梯度方向loss下降最快

一阶泰勒展开的推导过程

• 牛顿法应用

1. 求方程的根；
2. 求解最优化方法；

• 牛顿法参数更新推导

往 f′(x) = 0 的方向推导

优化器

参考博客：
深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
什么是指数加权平均、偏差修正？