27、机器学习助力优化问题解决：从基础到应用

机器学习助力优化问题解决：从基础到应用

1. 人工智能与机器学习概述

人工智能（AI）是发展最为迅速的技术领域之一，它受计算能力提升、海量数据获取、算法突破以及公私部门投资增加等因素驱动。AI旨在创建能展现智能行为的系统或机器，常借鉴生物智能，可自主运行或在人类引导下工作，还能适应不同环境。AI能帮助我们分析多维、多模态数据，识别隐藏模式，支持学习和决策。它涵盖态势感知、知识表示、认知推理、机器学习、数据分析、问题解决以及数字和物理自动化等多个子领域。

机器学习（ML）是AI的一个重要子领域，它让人工系统或过程能从经验和观察中学习，无需明确编程。学习的目标是创建外部世界的内部模型或抽象，有调整心理模型参数、探索组合爆炸、最小化误差等七种关键定义。根据Pedro Domingos的总结，ML思想流派主要分为五类：
| 流派 | 代表算法 | 核心算法 | 评估指标 | 优化方法 |
| — | — | — | — | — |
| 贝叶斯派 | 概率推理 | 概率推理 | 后验概率 | 概率推理 |
| 符号派 | 规则和树 | 规则和树 | 准确率、信息增益 | 逆演绎 |
| 连接派 | 神经网络与反向传播 | 反向传播 | 平方误差 | 梯度下降 |
| 进化派 | 进化计算 | 遗传编程 | 适应度 | 遗传搜索 |
| 类比派 | 支持向量机等 | 核机器 | 间隔 | 约束优化 |

如今，连接派学习方法因在多个领域的感知和学习能力而备受关注，它们基于自下而上的归纳推理范式，从大量数据中发现模式。而且，简单模型搭配大量数据往往比复杂模型搭配少量数据更有效，这得益于大数据、开源工具、增强的计算能力以及大量研