机器学习--监督学习、非监督学习和半监督学习

Ambition_LAO

于 2024-08-17 13:10:46 发布

阅读量289

点赞数 12

文章标签：机器学习

本文链接：https://blog.csdn.net/GDHBFTGGG/article/details/141279134

版权

在机器学习中，数据的标注方式和学习任务的性质决定了使用的学习方法。监督学习、非监督学习和半监督学习是三种主要的学习范式。以下是对这三种方法的详细阐述，包括概念、作用、核心要点、应用场景以及代码示例。

1. 监督学习（Supervised Learning）

概念

监督学习是一种机器学习方法，模型在训练过程中使用带有标签的数据进行学习。训练数据集中的每个样本都有对应的输入特征和目标标签，模型通过学习输入和目标标签之间的映射关系，能够对新数据进行预测。

作用

监督学习的主要作用是根据输入数据预测输出值。它适用于分类（分类问题）和回归（连续值预测问题）两大类任务。

核心要点

输入与输出: 每个训练样本都由输入特征和对应的目标输出（标签）组成。
模型训练: 通过已知标签的数据训练模型，优化模型参数使得预测结果与实际标签尽可能接近。
损失函数: 常用的损失函数有均方误差（MSE）用于回归，交叉熵（Cross-Entropy）用于分类。
评估指标: 分类问题中常用的评估指标有准确率、精确率、召回率、F1-score；回归问题中常用均方误差（MSE）、平均绝对误差（MAE）等。

应用场景

图像分类: 如手写数字识别、面部识别。
语音识别: 如语音转文字。
自然语言处理: 如情感分析、文本分类。
金融预测: 如股票价格预测、信用评分。

代码示例

以分类问题中的鸢尾花数据集为例，使用监督学习中的逻辑回归进行分类。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression(max_iter=200)
model.fit(X_train, y_train)

# 预测并评估
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)

print(f"Model Accuracy: {accuracy}")

2. 非监督学习（Unsupervised Learning）

概念

非监督学习是一种机器学习方法，模型在训练过程中使用的仅是未标注的数据。目标是发现数据的内在结构或模式，如数据的分布、聚类、降维等。

作用

非监督学习主要用于数据探索和数据挖掘，通过寻找数据中的模式或结构来实现聚类、降维、异常检测等任务。

核心要点

没有标签: 非监督学习的数据集没有对应的目标标签，模型需要在无监督的情况下理解数据的结构。
常见方法:
- 聚类: 如 K-means、层次聚类，用于将数据集分成若干个相似的组。
- 降维: 如主成分分析（PCA）、t-SNE，用于将高维数据投影到低维空间以便可视化和后续处理。
- 异常检测: 用于发现数据集中与大多数数据不同的异常样本。

应用场景

客户分群: 在市场营销中，根据客户行为特征进行分群。
图像压缩: 通过降维方法减少图像数据的维度，实现图像压缩。
推荐系统: 利用协同过滤算法根据用户行为模式进行推荐。
基因表达数据分析: 聚类分析基因表达数据，识别基因的功能群。

代码示例

使用非监督学习中的 K-means 算法对鸢尾花数据集进行聚类。

from sklearn.datasets import load_iris
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# 加载数据
iris = load_iris()
X = iris.data

# 训练 K-means 模型
kmeans = KMeans(n_clusters=3, random_state=42)
kmeans.fit(X)

# 可视化聚类结果
plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, cmap='viridis')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('K-means Clustering')
plt.show()

3. 半监督学习（Semi-Supervised Learning）

概念

半监督学习是一种介于监督学习和非监督学习之间的方法，利用少量的标注数据和大量的未标注数据进行模型训练。通过结合这两种数据类型，半监督学习能够提高模型的泛化能力，特别是在标注数据稀缺的场景中。

作用

半监督学习的主要作用是利用未标注的数据来增强模型的学习能力，在标注数据有限的情况下提高模型的性能。

核心要点

少量标签，大量无标签: 半监督学习利用少量的标注数据来指导模型，同时从大量未标注的数据中学习数据的分布和结构。
伪标签法: 一种常见的方法是对未标注的数据进行伪标注（pseudo-labeling），然后将这些数据与真实标签数据一起用于训练。
基于图的方法: 使用图结构来表示样本间的相似性，从而利用未标注数据的几何结构进行学习。

应用场景

语音识别: 在有限的带标签语音数据和大量的未标注语音数据下，提高识别准确率。
文本分类: 仅有少量标注数据的情况下，利用大量未标注文本进行分类模型训练。
计算机视觉: 利用未标注的图像数据来增强图像分类模型的性能。

代码示例

下面是一个简单的半监督学习示例，使用 scikit-learn 中的 LabelSpreading 模型。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.semi_supervised import LabelSpreading
from sklearn.metrics import accuracy_score
import numpy as np

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 创建半监督标签数据集，其中大部分标签为未标注（-1）
rng = np.random.RandomState(42)
random_unlabeled_points = rng.rand(len(y)) < 0.9
y[random_unlabeled_points] = -1

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练 LabelSpreading 模型
model = LabelSpreading(kernel='knn', alpha=0.8)
model.fit(X_train, y_train)

# 预测并评估
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)

print(f"Semi-Supervised Model Accuracy: {accuracy}")