机器学习笔记——30种常见机器学习算法简要汇总

监督学习算法（Supervised Learning）

回归算法（Regression Algorithms）

• 线性回归（Linear Regression）
• 岭回归（Ridge Regression）
• 套索回归（Lasso Regression）
• k近邻算法（K-Nearest Neighbors, KNN）
• 决策树（Decision Tree）
• 随机森林（Random Forest）
• 梯度提升树（Gradient Boosting, GB）
• XGBoost 和 LightGBM

分类算法（Classification Algorithms）

• 逻辑回归（Logistic Regression）
• k近邻算法（K-Nearest Neighbors, KNN）
• 支持向量机（Support Vector Machine, SVM）
• 朴素贝叶斯（Naive Bayes）
• 决策树（Decision Tree）
• 随机森林（Random Forest）
• 梯度提升树（Gradient Boosting, GB）
• XGBoost 和 LightGBM

总结：

算法	解释	应用场景	优点	缺点
线性回归	预测连续数值型变量的算法。它通过拟合一条直线，来表示自变量与因变量之间的线性关系，预测连续变量。	房价预测、股票价格预测。	简单易用，结果易解释，适合小规模数据。	只能处理线性关系，对异常值敏感。
岭回归	在损失函数中加入L2正则化，防止过拟合。	多重共线性问题的数据集。	防止过拟合，处理多重共线性问题。	不能进行特征选择，所有特征系数减小。
套索回归	在损失函数中加入L1正则化，自动进行特征选择。	高维数据的特征选择和回归预测。	自动特征选择，产生稀疏解。	特征高度相关时，模型不稳定。
逻辑回归	用于二分类任务的线性分类模型，是一种分类算法。通过sigmoid函数将线性组合转为概率，用于分类。	垃圾邮件检测、疾病诊断等二分类任务。	简单高效，概率输出易理解，适合高维稀疏数据。	只能处理线性可分问题，对离群点敏感。
KNN	根据样本的K个邻居的类别决定待分类样本的类别。	文本分类、图像识别等。	实现简单、易于理解，无需训练，对异常值不敏感。	计算复杂度高，容易受噪声和高维数据影响。
SVM	寻找最大化类间间隔的超平面进行分类。	图像分类、文本分类、生物信息学。	在高维空间表现良好，泛化能力强，可处理非线性问题。	训练时间长，对参数和核函数敏感。
朴素贝叶斯	基于贝叶斯定理，假设特征间相互独立，通过先验和条件概率进行分类。	文本分类、垃圾邮件检测等。	训练和预测速度快，对小规模数据表现良好。	特征独立性假设不常成立，类别分布不均衡时效果差。
决策树	通过递归分割特征空间构建决策树模型进行分类或回归。	客户分类、信用评分。	直观易懂，能处理数值和类别型特征。	容易过拟合，对数据变动敏感。
随机森林	Bagging集成学习的一种，对数据集进行有放回的随机采样并且随机选择特征，通过两个随机，组合多个决策树提高预测性能（数据集随机和特征随机）。	分类和回归任务，适合大数据场景。	稳定性高，能处理高维数据和噪声。	计算复杂度高，预测速度慢。 用来解决过拟合（高方差（High Variance）），易欠拟合
梯度提升树	通过逐步构建多个弱学习器，逐步降低误差。	广泛应用于广告预测、信用评分等。	捕捉复杂特征关系，精度高。	训练速度慢，用来解决欠拟合（高偏差（High Bias）），易过拟合。
XGBoost/LightGBM	梯度提升的优化版本，采用高效的数据结构 和 算法优化策略 ，支持 并行计算，并能够处理大规模数据。	大规模分类和回归任务，如广告预测、推荐系统等。	训练速度快，支持并行计算，防止过拟合。	参数多，调参复杂，解释性较差。

无监督学习算法（Unsupervised Learning）

聚类算法（Clustering Algorithms）

• K-Means 聚类
• K-Medoids
• Mini-Batch K-Means
• K-Means++
• 层次聚类（Hierarchical Clustering）
• 高斯混合模型（Gaussian Mixture Model, GMM）
• DBSCAN（Density-Based Spatial Clustering of Applications with Noise）

算法	解释	应用场景	优点	缺点
K-Means 聚类	基于质心，将数据分为K个簇，通过最小化样本到质心的距离进行聚类。	市场细分、图像分割、社交网络社区发现。	算法简单、计算速度快，适合均匀分布数据。	对噪声和初始质心敏感，需要指定簇的数量K。
K-Means++	通过优化初始质心选择（从数据集中随机选择一个样本点以及选择距离现有质心最远的点作为下一个质心），减少随机初始化的影响，提高聚类效果。	K-Means 的优化版本，适合初始质心选择较难的场景。	提高了初始质心选择的合理性，减少收敛到局部最优解的可能性。	仍然需要指定K值，且对噪声数据敏感。
K-Medoids	基于样本的代表点而非质心进行聚类，使用最靠近簇中心的样本作为代表点，减少异常值的影响。	偏好用样本代表而非质心的场景，适用于异常值多的数据。	更鲁棒于异常值和噪声，避免极端值影响聚类结果。	计算复杂度高，比K-Means慢，不适合大规模数据。
Mini-Batch K-Means	K-Means 的扩展版本，每次只使用数据子集进行更新，适合大规模数据集的聚类。	大规模数据聚类，如在线广告分类、图像分类等。	计算速度快，适合大数据场景，能够处理流式数据。	可能不如标准K-Means精确，结果依赖于批次的选择。
层次聚类	基于相似性构建层次结构，通过合并或拆分样本形成树状结构进行聚类。	基因表达数据分析、图像处理、文本分类。	无需提前指定K值，层次结构便于理解。	计算复杂度高，对噪声数据敏感，难以处理大规模数据。
高斯混合模型（GMM）	假设数据由多个高斯分布混合而成，使用EM算法估计参数，通过概率分配进行软聚类。	聚类、密度估计、异常检测。	能处理复杂簇形状，提供软聚类结果。	对初始参数敏感，计算复杂度高，不适合大规模数据。
DBSCAN	基于密度的聚类算法，通过定义核心点和边界点发现簇，能够识别噪声数据。	空间数据挖掘、图像处理、地理信息系统。	能发现任意形状的簇，对噪声和异常值鲁棒。	对参数（ε和MinPts）敏感，数据密度差异大时效果差。

降维算法（Dimensionality Reduction Algorithms）

线性降维算法（Linear Dimensionality Reduction Algorithms）

• 主成分分析（PCA, Principal Component Analysis）
• 线性判别分析（LDA, Linear Discriminant Analysis）
• 奇异值分解（SVD）

总结：

算法	解释	应用场景	优点	缺点
主成分分析（PCA）	通过线性变换将高维数据投影到低维空间，保持投影方向上的方差最大化，进行无监督的降维方法。	数据可视化、噪声消除、特征提取，如图像处理、金融数据分析。	算法简单，计算高效，保留主要信息。	仅能捕捉线性关系，无法处理非线性数据。
线性判别分析（LDA）	通过最大化类间方差与最小化类内方差，找到有助于分类的投影方向，进行有监督的降维。	有标签数据的降维和分类任务，如人脸识别、文本分类。	结合分类信息进行降维，有助于分类。	仅适用于线性可分的数据，对多类别不平衡问题效果不佳。
奇异值分解（SVD）	将原始数据矩阵分解为特征向量和特征值的矩阵形式，能够保留数据的主要特征，常用于矩阵降维。	文本分析、协同过滤推荐系统、图像压缩。	能有效处理稀疏数据、维度较高的数据，适合矩阵数据。	对大规模数据计算复杂度较高，不适合处理非线性数据。

非线性降维算法（Nonlinear Dimensionality Reduction Algorithms）

• 核主成分分析（K-PCA）
• 核判别分析（NDA）
• T-SNE

总结：

算法	解释	应用场景	优点	缺点
T-SNE	通过在高维和低维空间中分别计算点对之间的相似度，然后最小化两个分布之间的差异 ，使相似数据点在低维空间中靠近。	高维数据的可视化和降维，如图像数据、文本数据。	保持数据的局部结构，适合数据可视化。	计算复杂度高，对参数敏感，结果不稳定。
核主成分分析（K-PCA）	在PCA的基础上引入核技巧，通过核函数将数据映射到高维空间，然后使用PCA在高维空间进行线性降维。	非线性数据的降维，如图像分类、非线性回归。	能处理非线性数据，适用于高维复杂数据集。	核函数的选择对结果影响较大，计算开销较高。
核判别分析（NDA）	核函数扩展的线性判别分析，利用非线性映射将数据投影到高维空间，再使用NDA，进行分类任务的降维。	非线性分类问题，如复杂图像分类、模式识别。	能处理非线性分类任务，保持类间和类内方差的平衡。	需要选择合适的核函数，计算复杂度高。

强化学习算法（Reinforcement Learning）

• Q 学习（Q-Learning）
• 深度 Q 网络（DQN, Deep Q Network）

总结：

算法	解释	应用场景	优点	缺点
Q 学习	基于值函数的强化学习算法，通过状态-动作对的评分指导行为，逼近最优策略。	离散状态和动作空间的任务，如迷宫导航、棋类游戏。	无需模型信息，通过与环境交互学习最优策略。	高维状态空间需要大量内存，收敛慢。
深度 Q 网络（DQN）	结合深度学习和强化学习，通过神经网络逼近 Q 值，处理高维状态空间。	高维状态空间任务，如视频游戏、无人驾驶。	能处理高维状态空间，学习复杂策略。	训练不稳定，依赖于经验回放和目标网络，超参数敏感。

集成学习算法（Ensemble Learning）

• 袋装法（Bagging）
• 提升法（Boosting）
• 堆叠法（Stacking）

总结：

算法	解释	应用场景	优点	缺点
袋装法（Bagging）	通过对进行多次数据集有放回的随机采样 ，训练多个模型。	**随机森林就是其中一种，**不稳定模型（如决策树、神经网络）的分类和回归任务。	有效降低方差，提高模型稳定性，对噪声鲁棒。	训练多个模型，计算复杂度高。
提升法（Boosting）	串行，通过逐步训练一系列弱模型，每个模型都试图纠正前一个模型的错误预测	分类和回归任务，如广告点击率预测、信用评分。	有效降低偏差，提升模型精度，适合处理复杂的非线性关系。	训练时间长，易过拟合，对异常值敏感。
堆叠法（Stacking）	通过训练多个基模型，将其预测结果作为新特征，进一步训练一个元模型，提升整体预测性能。	适合传统单模型效果不佳的分类和回归任务。	综合多个模型的优势，提升模型表现，灵活性强。	计算复杂度高，易过拟合，调参难度大。

总结

在实际应用中，选择合适的算法取决于数据特点、任务需求以及模型的可解释性和性能要求。通过结合多种算法和策略，可以更好地解决实际问题。