机器学习笔记--介绍

一、机器学习定义

1、Arthur Samuel (1959) 将机器学习定义为：
“Field of study that gives computers the ability to learn without being explicitly programmed”
在不针对计算机编程的情况下，赋予计算机学习能力的一个领域。
2、Tom M. Mitchell (1997) 给出了一个更广泛、正式的定义：
“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E”
对于一个计算机程序，给它一个任务T和一个性能测量方法P，如果在经验E的影响下，P对T的测量结果得到改进，那么就说该程序从E中学习。

机器（计算机等）能否像我们（人类）一样学习（从数据中）？

二、机器学习分类

1、监督学习（Supervised Learning）

给定样本输入和相应输出，预测新输入样本的输出。
分类、回归等

2、非监督学习（Unsupervised Learning）

仅仅给定输入，自动发现知识（标签、特征、结构等）
聚类、关联规则等

3、半监督学习（Semi-supervised Learning）

输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。
图论推理算法（Graph Inference）等

4、强化学习（Reinforcement Learning）

输入数据直接反馈到模型，模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等。
Q-Learning、时间差学习等

三、三个重要概念

1、Hypothesis

具有未知参数（或结构）的数学模型。

2、Learning

对参数进行估计。（最大似然估计MLE、最大后验估计MAP、贝叶斯估计）
对代价函数进行优化。

3、Decision

直接预测、贝叶斯判别准则等。

四、三个阶段

训练–测试–应用

（自己学习机器学习的笔记，如有错误望提醒修正）