机器学习笔记--第二节课

前言

开篇是介绍机器学习的历史,感觉挺了很多遍了,就是符号主义,链接主义,SVM,深度学习,何凯明,柯洁,chatgpt,等等,嗯,总之好像没有特别重要的知识?

我的感觉其实是,怎么说呢,至少从前端来看,gpt帮不了我太多就是了......,很多响应式设计以及兼容的需求他都比较难给你做出来.而且有的时候UI组做的玩意比较难实现,交互也比较奇怪啥的....

好吧回到我的胡扯,老师又在讲感知机相关的历史课了.

好耶好像讲完了!!!

好吧好像还没有,现在貌似在讲缺乏解释性的问题....

现在在讲道德的问题

正文

分类和回归问题:

图片识别,反正是用CNN来操作

监督学习:

监督学习是机器学习的一种主要方法，用于训练模型来预测或分类数据。在监督学习中，我们有一组已知的输入数据和相应的输出标签，目标是根据这些已知的数据来建立一个模型，能够对新的未知数据进行准确的预测或分类。

监督学习的基本思想是将输入数据映射到输出标签的函数关系进行学习。这个函数关系通常被称为模型或假设空间。监督学习的过程包括以下几个步骤：

1. 数据收集和准备：收集已知的输入数据和相应的输出标签。确保数据的质量和准确性，并进行必要的预处理，如数据清洗、特征选择和数据转换。

2. 模型选择和训练：选择适当的模型，如线性回归、决策树、支持向量机、神经网络等。根据已知的数据和标签，使用训练算法对模型进行训练和优化，使其能够拟合输入和输出之间的关系。

3. 模型评估：使用评估指标来评估模型的性能和准确性。常用的评估指标包括准确率、精确度、召回率、F1得分等。

4. 模型应用：经过训练和评估后，模型可以应用于新的未知数据进行预测或分类。模型的预测结果可以用于决策制定、问题解决、风险评估等。

监督学习广泛应用于各种领域，如自然语言处理、图像识别、推荐系统、金融预测等。通过大量的已知数据和标签，监督学习使机器能够从经验中学习，并根据学习到的模式进行预测和决策。

结构学习:

结构学习（Structural Learning）是机器学习中的一个分支，旨在从数据中学习出具有特定结构的模型。与传统的监督学习不同，结构学习关注的是学习出具有更丰富结构的模型，如图结构、树结构、序列结构等，以更好地捕获数据中的关系和模式。

在结构学习中，模型的结构往往是未知的，需要从数据中自动学习出来，而不是预先定义好的。这使得结构学习具有更大的灵活性和适应性，能够适应各种复杂的数据结构和关系。

结构学习的关键挑战是如何在模型空间中搜索最优的结构。这通常涉及到组合优化和搜索算法的应用，以便在大规模的结构空间中找到最好的结构。常用的结构学习方法包括基于图的学习方法、基于搜索的学习方法和基于迭代优化的学习方法。

结构学习在许多领域中都有广泛的应用，特别是在自然语言处理、计算机视觉、生物信息学和社交网络分析等领域。它可以帮助从复杂的数据中提取更丰富的信息，改善模型的性能和泛化能力，并提供更准确的预测和决策。

总而言之，结构学习是一种从数据中学习出具有特定结构的模型的机器学习方法，它通过自动搜索和学习，能够适应各种复杂的数据结构和关系，提供更准确和丰富的模型表示。

无监督学习:

无监督学习（Unsupervised Learning）是机器学习的一种方法，用于从未标记的数据中发现模式、结构和关系，而无需先提供标签或目标输出。

在无监督学习中，我们只有输入数据，而没有相应的输出标签或目标变量。目标是通过分析数据的内在结构和模式来获得有用的信息，并对数据进行聚类、降维、异常检测等任务。

以下是几种常见的无监督学习方法：

1. 聚类（Clustering）：将数据分成不同的组或簇，使得组内的样本相似度高，而组间的样本相似度低。常见的聚类算法包括K均值聚类、层次聚类和DBSCAN等。

2. 降维（Dimensionality Reduction）：将高维数据映射到低维空间，以减少特征的数量和复杂性，同时保留数据的关键信息。主成分分析（PCA）和独立成分分析（ICA）是常用的降维技术。

3. 关联规则挖掘（Association Rule Mining）：从大规模的事务数据中发现项集之间的关联关系。关联规则挖掘常用于市场篮子分析、推荐系统和交叉销售等领域。

4. 异常检测（Anomaly Detection）：识别与大多数样本不同的异常样本。异常检测广泛应用于欺诈检测、网络入侵检测和设备故障检测等领域。

无监督学习在许多应用场景中都有重要的作用，它可以帮助我们发现数据中隐藏的结构和模式，探索数据的特性，并为进一步的分析和决策提供基础。

半监督学习:

半监督学习（Semi-Supervised Learning）是机器学习的一种方法，结合了监督学习和无监督学习的元素。在半监督学习中，我们同时利用有标签的数据和无标签的数据来进行模型训练和学习。

在实际应用中，获得大量标记的数据往往是昂贵和耗时的。而无监督学习中的无标签数据却很容易获取。半监督学习的关键思想是利用无标签数据的信息来提升模型的性能，尽可能地利用有限的标签数据来进行更准确的预测。

半监督学习的方法可以分为两大类：

基于生成模型的方法：这类方法假设数据是由潜在的生成模型产生的，通过对生成模型进行建模，利用无标签数据来估计模型参数，进而进行预测。典型的方法包括生成式对抗网络（GAN）、混合高斯模型（GMM）等。

基于图的方法：这类方法利用数据的相似性和连续性来构建图结构，将标签数据和无标签数据连接起来，并通过图上的传播算法来进行标签传播和预测。典型的方法包括标签传播、聚类图算法等。

半监督学习在许多领域中都有应用，尤其在数据集中标记样本较少的情况下，可以利用无标签数据来提升模型的性能。它可以减少对标记数据的需求，降低数据标记的成本，并在预测准确性和模型泛化能力方面取得更好的效果。

弱监督学习:

弱监督学习（Weakly Supervised Learning）是机器学习的一种方法，介于无监督学习和监督学习之间。在弱监督学习中，我们使用的标签或监督信号比完全标记的监督学习数据更弱或不完整。

在传统的监督学习中，我们通常需要为每个训练样本提供准确的标签。但在现实世界中，标记大规模数据集是一项昂贵和耗时的任务。因此，弱监督学习的目标是通过利用具有部分标签、噪声标签、隐含标签或区域标签等弱监督信号来进行训练和学习。

弱监督学习的方法可以分为几个子领域：

1. 多示例学习（Multiple Instance Learning）：在多示例学习中，训练样本被组织成示例袋（bag），每个示例袋可能包含多个实例。只有示例袋的标签是已知的，而实例级别的标签是未知的。

2. 标签噪声处理（Label Noise Handling）：训练数据中的标签可能存在错误或噪声，这会对模型的性能产生不良影响。标签噪声处理的目标是通过识别和过滤掉噪声标签，提高模型的鲁棒性。

3. 无关标签学习（Distant Supervision）：在无关标签学习中，利用大规模的未标记数据和已有的知识库（如数据库、知识图谱）来生成部分标签数据，用于训练模型。

4. 弱监督目标检测（Weakly Supervised Object Detection）：在目标检测任务中，通常需要详细标记每个目标的边界框和类别。而弱监督目标检测通过只提供图像级别的标签，即该图像中是否存在目标，来进行训练。

弱监督学习的挑战在于如何有效地利用弱监督信号进行学习，并在模型训练过程中应对噪声和不完整性。弱监督学习的应用非常广泛，如文本分类、图像识别、目标检测等领域，可以帮助减少标记数据的需求，降低数据标注的成本，并扩大机器学习在实际应用中的规模。

一点区别

弱监督学习和半监督学习是两个不同的概念。

弱监督学习（Weakly Supervised Learning）是指使用的标签或监督信号比完全标记的监督学习数据更弱或不完整。在弱监督学习中，标签可能是部分标注、噪声标签、隐含标签或区域标签等。弱监督学习旨在通过利用这些弱监督信号来进行模型训练和学习。

半监督学习（Semi-Supervised Learning）是指同时利用有标签的数据和无标签的数据来进行模型训练和学习。在半监督学习中，除了少量的有标签数据外，还利用了大量的无标签数据。无标签数据在半监督学习中起到了提供额外信息、增强模型性能的作用。

尽管弱监督学习和半监督学习都涉及到使用不完全的标签信息，但它们的概念和方法略有不同。弱监督学习更关注标签的质量和完整性，而半监督学习更关注如何利用无标签数据来提升模型性能。弱监督学习可以看作是半监督学习的一种特殊情况，即标签信息更为不完整和弱化。

迁移学习:

迁移学习（Transfer Learning）是一种机器学习方法，通过将已学习的知识从一个任务或领域迁移到另一个任务或领域中，以改善学习性能和效果。也就是某种意义上的举一反三.

传统的机器学习方法通常在每个任务或领域上独立进行训练和学习，而迁移学习的核心思想是认为不同任务或领域之间存在一定的相关性和共享的特征。通过利用已有任务或领域上学习到的知识，可以加速新任务的学习过程、提高模型的泛化能力、减少对标注样本的需求。

迁移学习可以分为以下几种类型：

1. 基于特征的迁移学习：将已训练的模型的特征提取部分（底层网络）作为通用特征提取器，并将这些特征用于新任务的模型训练。这种方法适用于源任务和目标任务之间存在一定的相似性。

2. 基于模型的迁移学习：将已训练的模型（源模型）的权重参数作为新任务模型的初始参数，并在新任务上进行微调或继续训练。这种方法适用于源任务和目标任务之间存在一定的相关性。

3. 基于关系的迁移学习：通过建立源任务和目标任务之间的关系模型，将源任务的知识迁移到目标任务上。这种方法通常需要额外的关系模型来建立任务之间的联系。

迁移学习在现实世界中的应用非常广泛，尤其在数据集稀缺或标注困难的情况下可以发挥重要作用。它可以帮助解决数据不足、领域适应、样本偏移等问题，并加速新任务的学习过程。

强化学习:

这个我熟啊,不说了

要点

两步走,哪两步:训练和预测(learning/training,prediction/testing)!!!!!!!!

结语

总之AI的未来还有很多的事情可以去改进.