人工智能、机器学习和模式识别以及神经网络

人工智能

人工智能是一个比较宽泛的概念，它指的就是机器能像人类一样思考和行动。

机器学习

机器学习是实现人工智能的一种方法。机器学习最成功的应用领域是计算机视觉。机器学习通过训练模型，以主动学习的方式得到处理数据的方法。
机器学习有三类：监督学习、无监督学习和强化学习
监督学习可分为二分类和回归
无监督学习可分为聚类和主成分
强化学习就是将智能体放入一个环境中进行学习，比如智能体走迷宫，智能体踢足球什么的

模式识别

模式识别一般用于数据分类，比如工厂中需要将打捞上来的鲑鱼和鲤鱼分开。其标签是给定的，比如长得长于30cm的是鲑鱼，短于30cm的是鲤鱼
相似特征的模式可归为一个模式类，模式类的可分性有线性可分、非线性可分、高度相关特征以及多默特特征
分类器的决策边界有线性决策边界、二次决策边界以及复杂决策边界

神经网络

当机器学习中的模型有多层时，就有了神经网络。

梯度下降的定义

梯度下降问题就是沿着导数下降的地方移动，直到某点梯度最小，这个时候就达到了最优解

多变量的梯度下降问题

神经网络中遇到的问题是多变量的最优解，即多变量的梯度为零的解

局部最优和全局最优问题

通常，我们求得的最优解不一定是全局最优解，其可能只是局部最优解。

他们之间的关系

人工智能>机器学习>模式识别>神经网络