三十七、【人工智能】【机器学习】【监督学习】- AdaNet算法模型

 

系列文章目录

第一章 【机器学习】初识机器学习

第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression)

第三章 【机器学习】【监督学习】- 支持向量机 (SVM)

第四章【机器学习】【监督学习】- K-近邻算法 (K-NN)

第五章【机器学习】【监督学习】- 决策树 (Decision Trees)

第六章【机器学习】【监督学习】- 梯度提升机 (Gradient Boosting Machine, GBM)

第七章 【机器学习】【监督学习】-神经网络 (Neural Networks)

第八章【机器学习】【监督学习】-卷积神经网络 (CNN)

第九章【机器学习】【监督学习】-循环神经网络 (RNN)

第十章【机器学习】【监督学习】-线性回归

第十一章【机器学习】【监督学习】-局部加权线性回归 (Locally Weighted Linear Regression, LWLR)

第十二章【机器学习】【监督学习】- 岭回归 (Ridge Regression)

十三、【机器学习】【监督学习】- Lasso回归 (Least Absolute Shrinkage and Selection Operator)

十四、【机器学习】【监督学习】- 弹性网回归 (Elastic Net Regression)

十五、【机器学习】【监督学习】- 神经网络回归 

十六、【机器学习】【监督学习】- 支持向量回归 (SVR)

十七、【机器学习】【非监督学习】- K-均值 (K-Means) 

十八、【机器学习】【非监督学习】- DBSCAN (Density-Based Spatial Clustering of Applications with Noise)十九、【机器学习】【非监督学习】- 层次聚类 (Hierarchical Clustering)二十、【机器学习】【非监督学习】- 均值漂移 (Mean Shift)

二十一、【机器学习】【非监督学习】- 谱聚类 (Spectral Clustering)​​ 

---

目录

系列文章目录

一、基本定义

（一）、监督学习

（二）、监督学习的基本流程

（三）、监督学习分类算法（Classification）

二、 AdaNet

（一）、定义

（二）、基本概念

（三）、训练过程

1.初始化阶段

2.子网络训练与评估

3.集成模型训练

4.新子网络的生成与集成

5.动态结构调整

6.结束条件

7.后处理与应用

（四）、特点

（五）、适用场景

（六）、扩展

三、总结

---

一、基本定义

（一）、监督学习

        监督学习（Supervised Learning）是机器学习中的一种主要方法，其核心思想是通过已知的输入-输出对（即带有标签的数据集）来训练模型，从而使模型能够泛化到未见的新数据上，做出正确的预测或分类。在监督学习过程中，算法“学习”的依据是这些已标记的例子，目标是找到输入特征与预期输出之间的映射关系。

（二）、监督学习的基本流程

        数据收集：获取包含输入特征和对应正确输出标签的训练数据集。
        数据预处理：清洗数据，处理缺失值，特征选择与转换，标准化或归一化数据等，以便于模型学习。
        模型选择：选择合适的算法，如决策树、支持向量机、神经网络等。
        训练：使用训练数据集调整模型参数，最小化预测输出与实际标签之间的差距（损失函数）。
        验证与调优：使用验证集评估模型性能，调整超参数以优化模型。
        测试：最后使用独立的测试集评估模型的泛化能力，确保模型不仅在训练数据上表现良好，也能在未见过的新数据上做出准确预测。

（三）、监督学习分类算法（Classification）

        定义：分类任务的目标是学习一个模型，该模型能够将输入数据分配到预定义的几个类别中的一个。这是一个监督学习问题，需要有一组已经标记好类别的训练数据，模型会根据这些数据学习如何区分不同类别。
        例子：垃圾邮件检测（垃圾邮件 vs. 非垃圾邮件）、图像识别（猫 vs. 狗）。

---

二、 AdaNet

（一）、定义

AdaNet，即Adaptive Structural Learning of Artificial Neural Networks，是由Google提出的一种用于自动构建神经网络结构的框架。它结合了神经架构搜索（Neural Architecture Search, NAS）的思想与集成学习的方法，旨在自动设计出具有高效率和高准确性的深度学习模型。AdaNet的核心目标是在保证模型性能的同时，优化计算资源的使用，使模型更易于部署到资源受限的设备上。

（二）、基本概念

1. 子网络（Subnetworks）：AdaNet中的基本组件，可以是任意类型的神经网络，如卷积神经网络（CNN）、循环神经网络（RNN）等。每个子网络都有自己的权重和超参数。

2. 集成（Ensemble）：AdaNet将多个子网络组合在一起，形成一个集成模型。这个集成模型可以被视为一个整体，对外提供统一的输入输出接口。

3. 权重（Weights）：每个子网络在集成模型中的贡献度由一个权重表示。AdaNet通过训练动态调整这些权重，以最大化集成模型的整体性能。

4. 生成器（Generators）：负责生成新的子网络结构。生成器可以根据现有的子网络和集成模型的表现来指导新子网络的设计。

5. 搜索策略（Search Strategy）：指定了如何选择、训练和集成子网络的过程。AdaNet提供了一种基于强化学习的搜索策略，但也可以使用其他策略。

（三）、训练过程

1.初始化阶段

• 初始子网络：AdaNet通常从一个或多个基础的子网络开始，这些子网络可以是简单的神经网络结构，如全连接层、卷积层或循环层。

• 集成模型：将这些初始子网络组合成一个初步的集成模型，每个子网络都分配有初始权重。

2.子网络训练与评估

• 独立训练：每个子网络首先独立地进行训练，直到收敛或者达到预设的性能指标。这一步骤确保每个子网络都能独立完成任务。

• 性能评估：评估每个子网络在验证集上的表现，记录其性能指标，如准确率、损失值等。

3.集成模型训练

• 集成训练：将所有子网络的输出加权求和，形成集成模型的最终预测。权重的调整是为了最大化整个集成模型的性能。

• 权重更新：使用梯度下降等优化算法更新子网络的权重，使得集成模型在验证集上的性能得到提升。

4.新子网络的生成与集成

• 生成新子网络：基于当前集成模型的表现，AdaNet的生成器会创建新的子网络结构。这可能涉及到改变网络的深度、宽度或是引入新的网络类型。

• 添加与评估：将新生成的子网络加入到集成模型中，再次评估集成模型的性能。

• 迭代优化：重复子网络训练、集成模型训练以及新子网络生成的过程，直到模型性能不再显著提升或达到预定的训练轮数。

5.动态结构调整

• 子网络选择：在训练过程中，AdaNet会自动决定哪些子网络应该保留，哪些应该被剔除，以保持模型的效率和效果。

• 结构演化：随着训练的进行，模型结构会根据数据特性和任务需求进行动态调整，以达到最佳状态。

6.结束条件

• 终止准则：当集成模型的性能达到稳定或达到预设的训练周期时，训练过程结束。

7.后处理与应用

• 最终模型选择：从所有训练过的集成模型中选择性能最佳的一个作为最终模型。

• 部署与测试：将最终模型部署到实际应用中，进行最后的测试和验证，确保其在真实世界数据上的表现。

（四）、特点

• 自适应性：AdaNet能够根据数据和任务需求自动调整模型结构和子网络的权重，实现自适应学习。

• 高效性：通过集成学习和子网络的动态权重调整，能够在保持高精度的同时，降低计算成本和模型复杂度。

• 可扩展性：AdaNet的框架允许轻松添加新的子网络和集成策略，适合不断变化的任务需求。

（五）、适用场景

• 资源受限环境：在移动设备或嵌入式系统上，需要在性能和资源消耗之间找到平衡。

• 快速原型开发：在研究和开发初期，需要快速尝试多种模型结构而不必手动设计。

• 大规模数据集：面对大数据量和复杂任务，需要自动化的模型设计和优化流程。

（六）、扩展

AdaNet可以与其他机器学习技术和方法相结合，例如：

• 迁移学习：利用预训练的子网络作为AdaNet的组成部分，加速训练过程并提高模型的泛化能力。

• 多任务学习：在一个集成模型中解决多个相关任务，通过共享部分子网络来提升效率和性能。

• 强化学习：利用强化学习算法来指导生成器的决策过程，优化子网络的生成策略。

• 联邦学习：在分布式环境中，多个参与方共同训练AdaNet模型，而无需集中数据，保护数据隐私。

三、总结

每种方法都有其独特的优势和适用场景，例如AdaNet适用于资源受限环境下自动设计模型结构，Bagging适用于减少模型方差，CatBoost擅长处理分类特征，而LightGBM则在处理大规模数据集时表现优异。这些方法的深入理解和应用，可以帮助你在不同的机器学习项目中做出更合适的选择和优化。