机器学习笔记——引言

学习的定义：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E中学习。

如，手写识别学习问题：

任务T：识别和分类图像中的手写文字

性能标准P：分类的正确率

训练经验E：已知分类的手写文字数据库

简单说，“学习”就是通过经验提高性能的某类程序。

一个完整定义的学习问题需要一个明确界定的任务、性能度量标准和训练经验的来源。

机器学习算法的设计过程包含许多选择，包括选择训练经验的类型、要学习的目标函数、该目标函数的表示形式以及从训练样例中学习目标函数的算法。

在机器学习方面，一个有效的观点是机器学习问题经常归结于搜索问题，即对非常大的假设空间进行搜索，以确定最佳拟合观察到的数据和学习器已有知识的假设。

学习的过程即搜索的过程，搜索包含可能假设的空间，使得到的假设最符合已有训练样例和其他先验的约束和知识。

机器学习从不同的学科吸收概念，包括人工智能、概率和统计、计算复杂性、信息论、心理学和神经生物学、控制论以及哲学。