浙大机器学习笔记（1）——引言

浙江大学-研究生机器学习课程

P1-5

Reference

1. 《机器学习》周志华
2. 《统计学习方法》李航
3. Machine Learning in Action, P.Harrinington
4. Pattern Recognition and Machine Learning
5. Machine Learning: A Probabilistic Perspective, K.P.Murphy
6. Machine Learning, Tom M. Mitchell
7. Deep Learning, I.Goodfellow, Y.Bengio and A.courville
8. Andrew Ng, Stanford Machine Learning
9. Fei-fei Li, CS231N

概念介绍

机器学习定义

1959年Arthur Samuel给出的定义：“Machine Learning is Fields of study that gives computers the ability to learn without being explicitly programmed.”
显著式编程：人为定义规律。劣势：需要帮机器规划清楚。
非显著式编程：让计算机自己总结规律的编程方法。定义收益函数。规定行为和收益函数，让计算机自己寻找最大化收益函数的行为。
1998年Tom Mitshell：“A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.”
经验E和性能指标P是由设计算法的人设计的，没有标准答案。

机器学习的分类

四个机器学习的任务：

1. 教计算机下棋
2. 垃圾邮件识别，教计算机自动识别某个邮件是垃圾邮件
3. 人脸识别，教计算机通过人脸的图像识别这个人是谁
4. 无人驾驶，教计算机自动驾驶汽车从一个指定地点到另一个指定地点。

1.4. 同类（经验E由计算机与环境互动获得，强化学习），2.3.同类（经验E完全由人为收集，经验E：数据+标签，监督学习）。

Alphago：强化学习与监督学习结合的案例。

根据数据标签存在与否的分类

• 传统的监督学习(Traditional Supervised Learning)：每一个训练数据都有对应的标签
  Supervised learning: The machine learning task of inferring a function from labeled training data.
  算法：
  • 支持向量机（Support Vector Machine）
  • 人工神经网络(Neural Networks)
  • 深度神经网络(Deep Neural Networks)

• 非监督学习(Unsupervised Learning)：所有训练数据都没有对应的标签
  Unsupervised learning: In machine learning, the problem of unsupervised learning is that of trying to find hidden structures in unlabeled data.
  
  算法：
  • 聚类（Clustering）
  • EM算法(Expectation-Maximization algorithm)
  • 主成分分析(Principle Component Analysis)

• 半监督学习(Semi-supervised Learning)：训练数据中一部分有标签一部分没有标签。
  Semi-supervised learning: Semi-supervised learning is a class of supervised learning tasks and techniques that also make use of unlabeled data for training - typically a small amount of labeled data with a large amount of unlabeled data. Semi-supervised learning falls between unsupervised learning (without any labeled training data) and supervised learning (with completely labeled training data).
  
  

基于标签的固有属性进行分类

分类：所有标签都是离散的值
回归：所有标签都是连续的值

分类：
例：人脸识别


回归：
例：预测股票价格、预测温度、预测人的年龄等任务。

对监督学习进行更细致的分类：
首先按照训练数据是否存在标签，将监督学习分为传统的监督学习，非监督学习和半监督学习。
其次按照标签是连续还是离散，将监督学习分为分类问题和回归问题。

机器学习算法的过程

第一步：提取特征（Feature Extraction）
通过训练样本获得的、对机器学习任务有帮助的多维度数据。
第二步：特征选择
第三步：不同的算法对特征空间做不同的划分
第四步：得到不同的结果

案例：红细胞白细胞

SVM算法概述：
对于输入空间中非线性可分的情形，选择一个适当的非线性映射，将输入空间中的样本点映射到一个高维空间，然后通过一系列核函数、参数因子的选择得到最优分界面，其实最难的是分界面的确定，确实需要反复的选择测试。
在matlab中支持向量机分类算法的实现支持向量机算法是在训练样本的特征空间求取能把两类样本没有错误分开的最大间隔超平面，在数学上表示为一个凸二次规划的问题。

没有免费午餐定理

In computational complexity and optimization the no free lunch theorem is a result that states that for certain types of mathematical problems, the computational cost of finding a solution, averaged over all problems in the class, is the same for any solution method.
“没有免费午餐定理”（No Free Lunch Theorem）: 任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，表现好与表现不好的情况一样多。

D.H. Wolpert, W.G. Macready, No free lunch theorems for search, Technical Report SFI-TR-95-02-010. Santa Fe Institute, Santa Fe, NM. 1995

没有任何情况下都最好的机器学习算法。