1.结构风险最小化
结构风险最小化(Structural Risk Minimization,简称SRM)是指在选择机器学习模型时,需要考虑模型复杂度与训练误差之间的平衡,以避免过拟合。SRM 通过加入正则化项(例如L1、L2正则化),降低模型复杂度,从而在一定程度上减少过拟合的风险。
2.正则化
正则化是指在模型训练过程中对模型参数进行约束,以降低过拟合风险的一种技术。常见的正则化方法有L1正则化和L2正则化。L1正则化会让一部分模型参数为零,从而实现特征选择的效果,而L2正则化则会让所有模型参数都趋向于很小的值,从而让模型更加平滑。
3.线性回归
线性回归分为一元线性回归和多元线性回归,一元线性回归是指在坐标系中找出一条直线,让该直线尽可能多的穿过数据点,也就是让该模型的损失函数最小,多元线性回归就是将一元线性回归拓展到多个维度。
4.逻辑斯蒂回归
逻辑斯蒂回归(Logistic Regression)是一种用于建立分类模型的机器学习方法,通常用于二分类。该模型通过学习一组权重值,将输入的特征值与类别之间建立概率关系。通常使用 sigmoid 函数将线性模型的输出转换为概率值,进而进行分类。
5.Sigmoid与SoftMax函数
Sigmoid 函数和 Softmax 函数都是常见的激活函数,常用于神经网络的输出层。
Sigmoid 函数将实数映射到 (0,1) 的区间,常用于二分类问题。
Softmax 函数将实数映射到 [0,1] 的区间,并且保证所有输出的和为1,常用于多分类问题。
6.决策树
决策树是一种常见的机器学习算法,用于建立分类或回归模型。该算法通过对数据进行分割,建立树形结构,从而实现对样本的分类或预测。决策树算法可以根据不同的分割策略分为ID3、C4.5、CART等多种类型。
7.信息熵,条件熵,信息增益
信息熵:离散随机事件出现的概率,也就是所有可能时间发生带来的信息量的期望。
条件熵:按一个新的变量的每个值对原变量进行分类,举个例子就是在事件x下事件y的不确定性。
信息增益:信息增益是知道了某个条件后,事件的不确定性下降的程度。
8.线性判别分析 LDA
线性判别分析(Linear Discriminant Analysis,简称LDA)是一种用于建立分类模型的机器学习方法,通常用于多分类问题。该算法通过将数据投影到低维空间,从而实现对数据的分类。LDA 假设不同类别的数据具有相同的协方差矩阵,从而在低维空间中找到最佳分类边界。
9.概率近似正确 PAC
概率近似正确(Probably Approximately Correct,简称PAC)是一种衡量机器学习算法性能的标准。PAC 假设样本是独立同分布的,并且对于任意给定的精度和置信度,算法都能够在有限的样本量下获得一个接近正确的分类器。PAC 学习的理论证明了机器学习问题的可解性,即在一定条件下,机器学习问题是可解的
10.自适应提升AdaBoost
自适应提升(Adaptive Boosting,简称AdaBoost)是一种用于建立分类模型的机器学习方法,通过串行训练多个弱分类器,最终得到一个强分类器。在每一轮训练中,AdaBoost 根据前一轮分类错误的样本的权重,调整样本权重,并训练一个新的弱分类器。最终的强分类器将所有弱分类器的结果进行加权求和。AdaBoost 的特点是能够减少过拟合风险,同时提高分类器的准确性。