机器学习

整理自浙江大学机器学习Mook

Introduction

1.机器学习的定义

假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。

2. 机器学习的分类

• supervised learning

  • traditional supervised learning
    • support vector machine,
    • neural networks,
    • deep neural network
  • unsupervised learning（no labels）
    • clustering(聚类)
    • EM (expectation maximization algorithm)
    • principle component analysis
  • semi-supervised learning
    Also we can classify supervised learning into classification and regression

• reinforcement learning（need to interact with the environment)

3. 机器学习的算法过程

• feature extraction（特征提取）
• feature selection
• construct feature space (the dimension depends on the number of the critical features） and use algorithm

4. 没有免费午餐（no free lunch theorem）

该定理的结论是，由于对所有可能函数的相互补偿，最优化算法的性能是等价的。即没有最好的算法
在设计机器学习算法有一个假设：在特征空间距离接近的样本，他们属于同一个类别的概率会更高。
如果不对特征空间先验分布的有假设，那么所有的算法表现都一样