机器学习的主要研究领域、基本概念和相关术语的解释

1.主要研究领域：

1.1机器学习的两大学派：

机器学习：人工智能的重要分支
           构造具有学习能力的智能系统
           知识、推理、学习
           手段：统计，逻辑，代数……
统计机器学习
           从大量样本出发，运用统计方法，发现统计规律
          有监督学习、无监督学习、半监督学习
          问题：分类，聚类，回归

1.2主要研究领域：

1.2.1符号机器学习：Eg. 决策树，ID3，…
1.2.2计算学习理论（统计学习理论）：PAC，SVM
1.2.3监督学习，非监督学习，半监督学习
1.2.4集群机器学习：Ensemble Learning， Boosting
1.2.5流行（Manifold）学习
1.2.6强化学习
1.2.7Ranking学习
1.2.8聚类学习…

   前最主要的应用领域有:专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等领域。
　目前大部分的应用研究领域基本上集中于以下两个范畴：分类和问题求解。
　　（1）分类任务要求系统依据已知的分类知识对输入的未知模式作分析，以确定输入模式的类属。相应的学习目标就是学习用于分类的准则（如分类规则）。
　　（2）问题求解任务要求对于给定的目标状态,寻找一个将当前状态转换为目标状态的动作序列；机器学习在这一领域的研究工作大部分集中于通过学习来获取能提高问题求解效率的知识（如搜索控制知识，启发式知识等）。

3.机器学习基本概念：

3.1回归：

经过算法预测的结果是一个连续的值，我们称这样的问题为回归问题。
从数学上看，回归的本质是数据拟合。

3.2 低拟合与过拟合：