机器学习的主要类型：监督学习与无监督学习

周珂呀

已于 2024-03-26 20:23:06 修改

阅读量1.2k

点赞数 21

分类专栏：机器学习文章标签：机器学习学习人工智能

于 2024-03-26 19:51:30 首次发布

本文链接：https://blog.csdn.net/m0_74042340/article/details/137055769

版权

机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文详细介绍了机器学习中的监督学习和无监督学习，涵盖了监督学习中的分类任务（如二分类、多分类和多标签分类）、回归（线性回归、决策树回归等）以及无监督学习中的聚类（如K-means、层次聚类）和关联规则学习。强调了这些方法在实际应用中的重要性和结合使用的价值。

摘要由CSDN通过智能技术生成

机器学习的主要类型监督学习和无监督学习

监督学习 (Supervised Learning)：

在监督学习中，模型从带有标签（或者目标）的数据中学习。这些标签提供了输入数据和预期输出之间的对应关系，使得模型能够学习如何预测给定输入的正确输出。监督学习通常用于解决分类和回归问题。

特点：

标签数据：监督学习需要有标签的训练数据，即每个样本都有与之相关联的标签或目标值。
学习过程：模型通过将输入数据与其对应的标签进行训练，从而学习输入与输出之间的关系。
目标：监督学习的目标是使模型能够准确地预测新的、未见过的输入数据的输出。

常见应用：

分类

分类是监督学习的一种重要任务，其目标是将数据实例分为不同的类别或标签。在分类问题中，每个数据实例都具有一个预定义的类别，我们的任务是训练模型以便对新的、未知的数据实例进行分类，并将其分配到正确的类别中。

特点：

离散标签：分类问题涉及将数据分配到一组预定义的离散类别中。
有监督学习：分类是一种监督学习任务，因为模型需要使用带有标签的训练数据进行训练。
预测类别：模型的输出是数据实例所属的类别或标签。

常见的分类方法：

二分类 (Binary Classification)：将数据分为两个类别。例如，判断一封电子邮件是垃圾邮件还是非垃圾邮件。
多分类 (Multi-class Classification)：将数据分为多个类别。例如，手写数字识别中的数字分类任务，其中每个数字是一个类别。
多标签分类 (Multi-label Classification)：在某些情况下，数据可能属于多个类别。例如，一篇文章可能属于多个主题，这就是一个多标签分类问题。

常见的分类算法：

逻辑回归 (Logistic Regression)：虽然名字中带有“回归”，但实际上逻辑回归是一种用于二分类任务的分类算法。
决策树 (Decision Trees)：基于特征的条件分割，逐步构建一个树状结构，用于分类数据。
支持向量机 (Support Vector Machine, SVM)：通过在特征空间中找到一个最优的超平面来将数据分割成不同的类别。
朴素贝叶斯 (Naive Bayes)：基于贝叶斯定理和特征条件独立性假设，用于处理分类问题。
K最近邻 (K-Nearest Neighbors, KNN)：基于数据点在特征空间中的距离来分类数据。
随机森林 (Random Forest)：由多个决策树组成的集成学习方法，用于处理复杂的分类问题。
神经网络 (Neural Networks)：深度学习中常用的模型，通过多层神经元进行特征学习和分类。

应用领域：

分类问题在许多领域中都有广泛的应用，包括但不限于：

文本分类（垃圾邮件过滤、情感分析）
图像分类（图像识别、物体检测）
医学诊断（疾病分类、影像分析）
金融风险管理（欺诈检测、信用评分）
生物信息学（基因分类、蛋白质分类）

分类任务在实践中非常常见，有着广泛的应用和研究。

回归

回归是一种监督学习技术，用于预测连续数值输出。在回归问题中，我们试图建立一个模型来描述输入变量（自变量）与输出变量（因变量）之间的关系。这种关系通常用一个函数来表示，该函数可以将输入映射到输出。

回归问题的特征：

连续性输出：与分类问题不同，回归问题的输出是连续的数值，而不是离散的类别。
输入与输出之间的关系：回归模型试图捕捉输入变量与输出变量之间的相关性。这种关系可以是线性或非线性的。
性能度量：回归模型的性能通常通过衡量预测值与实际值之间的误差来评估。常见的性能度量包括均方误差（Mean Squared Error, MSE）、均方根误差（Root Mean Squared Error, RMSE）、平均绝对误差（Mean Absolute Error, MAE）等。

常见的回归算法：

线性回归 (Linear Regression): 线性回归是最简单和最常用的回归技术之一，它试图建立输入变量与输出变量之间的线性关系。在简单线性回归中，只有一个自变量和一个因变量；而在多元线性回归中，可以有多个自变量。
多项式回归 (Polynomial Regression): 多项式回归通过拟合一个多项式函数来适应数据。这种方法可以捕捉输入变量和输出变量之间的非线性关系。
岭回归 (Ridge Regression) 和 Lasso 回归 (Lasso Regression): 这些是正则化线性回归的变体，用于处理多重共线性（multicollinearity）问题，防止模型过拟合。
决策树回归 (Decision Tree Regression): 决策树回归通过将数据分割成多个区域，并在每个区域内拟合一个简单的模型来建立输入与输出之间的关系。
支持向量回归 (Support Vector Regression, SVR): 类似于支持向量机（SVM）用于分类的原理，SVR用于回归问题。它寻找一个最小化预测误差并与预定义间隔范围内的超平面来拟合数据。
神经网络回归 (Neural Network Regression): 使用神经网络模型来进行回归任务，这种方法能够捕捉复杂的非线性关系，并在大型数据集上表现良好。

回归分析在各种领域中都有广泛的应用，包括金融、医疗、天气预测、销售预测等。通过回归模型，我们可以从数据中推断出趋势、预测未来趋势，并作出相应的决策。

常见算法：

线性回归、逻辑回归、决策树、随机森林、支持向量机、神经网络等。

无监督学习 (Unsupervised Learning)：

在无监督学习中，数据没有相关的标签或目标值。模型必须从数据中发现隐藏的结构或模式，而不是依赖于预先定义的输出标签。无监督学习通常用于聚类、降维和关联规则学习等任务。

特点：

无标签数据：无监督学习使用没有标签或目标值的数据进行训练。
学习过程：模型通过发现数据中的模式和结构来学习，而不是通过与标签进行训练。
目标：无监督学习的目标是从数据中提取有用的信息，揭示数据的内在结构。

常见应用：

聚类

聚类是一种无监督学习技术，旨在将数据集中的样本划分为具有相似特征的组或簇。聚类算法试图找到数据中的内在结构，而不需要预先定义的类别或标签。聚类可以帮助发现数据的潜在模式、群组以及异常值。

特点：

无监督学习：聚类是一种无监督学习方法，因为在训练时不需要标签信息。
相似性度量：聚类算法基于样本之间的相似性度量来将它们分组到簇中。
目标：目标是使得同一簇内的样本之间的相似性尽可能大，而不同簇之间的相似性尽可能小。

常见的聚类算法：

K均值聚类 (K-Means Clustering)：
- 将数据分成K个簇，每个簇的中心代表该簇的质心，样本被分配到距离最近的质心所代表的簇中。
- 是最常用的聚类算法之一，简单且有效。
层次聚类 (Hierarchical Clustering)：
- 不需要指定簇的数量，而是通过将最相似的样本逐步合并为簇来构建树状结构。
- 分为凝聚式（自下而上）和分裂式（自上而下）两种方法。
DBSCAN (Density-Based Spatial Clustering of Applications with Noise)：
- 基于密度的聚类算法，通过定义样本周围的密度来识别簇。
- 能够发现任意形状的簇，并且能够处理噪声数据。
高斯混合模型 (Gaussian Mixture Model, GMM)：
- 假设数据是由多个高斯分布组成的，每个高斯分布代表一个簇。
- 通过最大化似然函数来估计每个高斯分布的参数，从而确定簇的分布。
密度峰值聚类 (Density Peak Clustering)：
- 根据数据点的局部密度和距离峰值来识别簇。
- 不需要预先设定簇的数量，适用于各种形状和大小的簇。

应用：

市场分析：根据客户行为和偏好对市场进行细分，以提供个性化的营销策略。
图像分割：将图像中的像素分成不同的区域，以便识别和分析图像中的对象。
社交网络分析：识别社交网络中具有相似兴趣或行为模式的用户群体。
生物学：对基因表达数据进行聚类以发现基因表达模式。
异常检测：将数据聚类并识别那些不属于任何簇或属于稀有簇的数据点作为异常。

聚类是数据分析中的一项重要技术，可以帮助我们理解数据的结构和关系，从而为进一步的分析和决策提供有价值的信息。

异常检测

异常检测（Anomaly Detection）是一种监督学习和无监督学习技术，用于识别数据中与大多数数据模式不同的观察结果。它被广泛应用于各种领域，包括网络安全、金融欺诈检测、工业生产监控等。

方法：

统计方法：
- 基于统计分布模型的方法，如基于正态分布的方法（如Z-Score或Grubbs Test）或基于方差的方法。
- 使用统计量（如均值、中位数、标准差）来识别数据中的异常值。
机器学习方法：
- 无监督学习方法，如基于聚类的方法（如K-means）、基于密度的方法（如LOF，Local Outlier Factor）和基于距离的方法（如KNN）。
- 有监督学习方法，如支持向量机（SVM）、随机森林等。
深度学习方法：
- 使用深度神经网络来学习数据的复杂表示，并识别与训练数据分布不同的观察结果。
- 常用的深度学习方法包括自编码器（Autoencoder）和变分自编码器（Variational Autoencoder）。

应用：

网络安全：
- 检测网络中的异常活动，如入侵行为、网络攻击等。
金融欺诈检测：
- 识别信用卡交易中的异常交易，以防止欺诈行为。
工业生产监控：
- 监测工厂生产过程中的异常情况，以预防设备故障或生产质量问题。
医疗诊断：
- 识别医学图像中的异常结构或病变，如肿瘤、骨折等。
环境监测：
- 监测环境传感器数据中的异常变化，如水质、空气质量等。

挑战：

数据不平衡：异常数据通常是少数类，因此数据集可能存在不平衡问题，需要采取措施处理。
定义异常：异常的定义可能取决于具体应用场景，需要根据业务需求进行调整和优化。
数据噪声：数据中的噪声和异常值可能会相互干扰，使得异常检测更加困难。
模型泛化：确保模型在新数据上的泛化能力，以便有效地识别未知的异常情况。

异常检测是一个复杂而重要的问题，需要结合多种方法和技术来解决实际挑战。在实践中，通常需要根据具体场景和数据特点选择合适的方法，并进行系统性的评估和调优。

降维

降维是一种常见的数据预处理技术，旨在减少数据集的特征数量，同时保留尽可能多的信息。降维可以帮助减少数据维度，简化模型的复杂度，提高计算效率，同时也有助于可视化和理解数据。以下是降维的一些重要概念和常见方法：

维度灾难（Curse of Dimensionality）：

随着特征数量的增加，数据集在高维空间中呈指数增长，这导致了维度灾难的问题。维度灾难可能导致模型的过拟合、计算复杂度增加和数据可解释性下降等问题。

降维的目标：

降维的目标是在减少特征数量的同时，尽量保留数据中的信息，即保持数据集的关键特征和结构。

常见的降维方法：

主成分分析（Principal Component Analysis, PCA）：
- PCA是一种常用的线性降维技术，通过将数据投影到新的特征空间中，使得数据在新的特征空间中具有最大的方差。
- 它通过计算数据的协方差矩阵的特征值和特征向量来找到主成分，并将数据投影到主成分上。
线性判别分析（Linear Discriminant Analysis, LDA）：
- LDA也是一种常用的线性降维方法，与PCA不同的是，LDA考虑了类别信息。
- 它试图找到投影方向，使得不同类别之间的距离尽可能大，同一类别内部的距离尽可能小。
t-分布邻域嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）：
- t-SNE是一种非线性降维技术，可以将高维数据映射到低维空间，同时保持数据点之间的相似性。
- 它在可视化高维数据时效果非常好，常用于数据可视化和聚类结果的可视化。
自编码器（Autoencoder）：
- 自编码器是一种神经网络模型，通过学习将输入数据编码为低维表示，然后再将低维表示解码为原始数据。
- 它可以学习数据中的复杂非线性结构，并生成压缩表示，用于降低数据的维度。

应用领域：

降维技术在各个领域都有广泛的应用，包括但不限于：

图像处理和计算机视觉中的特征提取和特征压缩。
自然语言处理中的词嵌入和词向量表示。
生物信息学中的基因表达数据分析。
金融领域中的风险建模和投资组合优化。

总之，降维是一种重要的数据预处理技术，可以帮助简化数据分析过程，提高模型效率和性能，并且有助于发现数据的潜在结构和特征。选择合适的降维方法需要考虑数据的特点、问题的要求以及计算资源等因素。

关联规则学习

关联规则学习是一种在大规模数据集中发现物品之间有趣关系的方法。这些关系通常以"如果...那么..."的形式表示，即如果一种物品集合中存在某些物品，则很可能存在另一种物品。这种方法常被用于市场篮子分析，其中目标是发现顾客购买中的相关性和趋势。

关联规则的主要概念：

项集（Itemset）：
- 项集是指数据集中的物品的集合。一个项集可以包含一个或多个物品。
频繁项集（Frequent Itemset）：
- 频繁项集是在数据集中频繁出现的项集。通常根据一个设定的最小支持度阈值来定义。
关联规则（Association Rule）：
- 关联规则是指一种物品集合与另一种物品集合之间的关系。它由两部分组成：前件（Antecedent）和后件（Consequent）。关联规则通常以"如果...那么..."的形式表示。
支持度（Support）：
- 支持度衡量了一个项集在数据集中出现的频率。支持度越高，项集在数据集中出现的频率越高。
置信度（Confidence）：
- 置信度衡量了一个关联规则的可信度。它表示了在前件出现的情况下，后件也出现的概率有多大。