机器学习的划分：监督学习、非监督学习、强化学习、进化学习

• 监督学习（Supervised learning）：提供带有正确结果的训练集，基于训练集，算法将归纳（generalization）出“如何正确的响应所有可能的输入”。也称之为”示例学习（learning from examples）”
  • 回归（Regression）：找到某种函数，使函数曲线的路径尽可能的靠近所有的数据点。
  • 分类（Classification）：根据训练中不同类（class）的划分，将输入的向量划分到对应的类中去——找到“决策边界（decision boundaries）”。
• 非监督学习（Unsupervised learning）：训练集没有提供正确结果，而是让算法尝试识别不同数据之间的相似性，从而让有共同特征的数据能够被归类在一起。以统计学的方式实现监督学习也称作”密度估计（density estimation）“
  • 簇分（clustering）
• 强化学习（Reinforcement learning）：介于监督学习和非监督学习之间。训练中，当算法得出的结果错误时，算法会被告知；但如果算法得出的结果正确，则不会被告知。算法会尝试不同的可能性，直到它学会如何找到正确的结果。监督者会对结果进行打分，却不会给出改进意见，所以强化学习有时也被称为“评价学习（learning with critic）”。
• 进化学习（Evolutionary learning）：就像生物进化过程一样：生物适应环境从而提高生存率和生育率。根据“适应（fitness）”这个理念，我们将尝试将这个过程在电脑中建模：即对当前的解决方案“有多合适”进行打分。