【机器学习|学习笔记】监督学习（Supervised Learning）和非监督学习（Unsupervised Learning）起源、发展、原理、应用、优缺点、经典模型详解。-CSDN博客

本文链接：https://blog.csdn.net/2401_89898861/article/details/148188529

【机器学习|学习笔记】监督学习（Supervised Learning）和非监督学习（Unsupervised Learning）起源、发展、原理、应用、优缺点、经典模型详解。

欢迎铁子们点赞、关注、收藏！
祝大家逢考必过！逢投必中！上岸上岸上岸！upupup

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文。详细信息可关注VX “学术会议小灵通”或参考学术信息专栏：https://blog.csdn.net/2401_89898861/article/details/147776758

前言

监督学习（Supervised Learning）和非监督学习（Unsupervised Learning）是机器学习的两大基本范式，它们根据数据是否包含“标签”（即目标输出）进行区分。

一、监督学习（Supervised Learning）

1. 起源

监督学习起源于统计学习理论和早期的人工智能研究，特别是模式识别和回归分析。20世纪60年代以来，感知机（Perceptron）模型作为最早的监督学习算法被提出，为后续神经网络的发展奠定了基础。

2. 发展

20世纪80-90年代：支持向量机（SVM）、决策树等算法逐步成熟；
2006年以后：深度学习（如CNN、RNN）使监督学习取得突破性进展；
近年：Transformer等结构将监督学习带入自然语言处理和视觉识别的新高峰。

3. 原理

监督学习的核心是“学习一个从输入到输出的映射函数”。训练数据包含输入-输出对 $(x, y)$ ，学习目标是找到一个函数 $f (x)$ ，使得在新样本上也能正确预测输出 $\hat{y}$ ，如：

分类问题：预测离散标签（如猫/狗）
回归问题：预测连续值（如房价、温度）

损失函数（如交叉熵、均方误差）用于度量预测误差，训练过程通过最小化损失实现模型优化。

4. 应用

图像识别（如ImageNet）
语音识别（如语音转文字）
自然语言处理（如情感分类）
医疗诊断（如癌症分类）
金融风控（如欺诈识别）

5. 优缺点

优点：

精度高，模型稳定；
易于评估性能（有ground truth）；
可解释性好（如决策树）。

缺点：

依赖大量标注数据，成本高；
对未知情况的泛化能力受限；
难以处理未标注数据或复杂结构数据。

6. 经典模型

线性回归 / 逻辑回归（Regression）
决策树（Decision Tree）、随机森林（Random Forest）
支持向量机（SVM）
K近邻（KNN）
神经网络（MLP、CNN、RNN）
Transformer / BERT（自然语言处理）

二、非监督学习（Unsupervised Learning）

1. 起源

非监督学习起源于数据探索（Exploratory Data Analysis）和群体结构发现，早期如K均值聚类、主成分分析（PCA）等方法均为此类。

2. 发展

20世纪60年代：K-Means等传统聚类算法被提出；
80-90年代：自编码器、神经网络引入非监督学习；
2014年后：生成对抗网络（GAN）、对比学习（Contrastive Learning）带来革命性进展；
近期：自监督学习（Self-supervised Learning）成为热点（如SimCLR, BYOL, MAE）。

3. 原理

非监督学习的目标是从无标签数据中挖掘潜在结构、模式或表示。输入数据只有 $x$ ，没有输出 $y$ ，学习目标是发现：

数据的潜在分布（如聚类）
数据的低维表示（如降维）
数据之间的相似性（如图嵌入）

常用方法包括优化目标函数，如最小重构误差、最大似然估计、最小信息损失等。

4. 应用

聚类分析（用户分群、图像聚类）
数据降维（PCA、t-SNE）
特征学习（自编码器、对比学习）
异常检测（如信用卡欺诈）
推荐系统（如协同过滤）

5. 优缺点

优点：

无需人工标注，适合大规模数据；
能发现隐藏结构；
可作为预训练方法提升监督学习效果。

缺点：

模型评估困难（无Ground Truth）；
可解释性较差；
结果不稳定（聚类初始值敏感等问题）。

6. 经典模型

聚类模型：

K-means、DBSCAN、层次聚类

降维模型：

PCA、t-SNE、UMAP

概率模型：

高斯混合模型（GMM）、隐马尔可夫模型（HMM）

神经网络模型：

自编码器（Autoencoder）
生成对抗网络（GAN）
对比学习模型（SimCLR, MoCo, BYOL）
Masked AutoEncoder（MAE, NLP/图像）

三、监督学习 vs 非监督学习总结对比表

项目	监督学习	非监督学习
是否有标签	有（输入 + 输出）	无标签
学习目标	学习映射函数	发现结构或分布
模型评估	准确率、召回率、F1 等	难以直接评估
应用示例	分类、回归	聚类、降维、异常检测
对数据要求	需要标注数据	原始未标注数据即可
代表模型	SVM, CNN, BERT	K-means, PCA, GAN
优点	高精度、可控性好	标注成本低、可发现潜在结构
缺点	需大量标签、泛化能力有限	结果不确定、评估困难