机器学习（个人学习笔记）-第一章

1.1 机器学习的分类

1.1.1 机器学习任务

1、监督学习（Supervised Learning）所有经验E都是人工采集并输入计算机的

eg：人脸识别

2、强化学习（Reinforcement Learning）经验E是由计算机与环境互动获得的，计算机产生行为，同时获得行为的结果，只需要用程序定义这些行为的收益函数（Reward function），奖励or惩罚

算法：自动改变模式，最大化收益函数

结合例子：ALPHAGO→监督学习→初始围棋程序强化学习

1.2 监督学习根据数据标签存在与否的分类

（1）传统的监督学习（Traditional Supervised Learning）：每一个训练数据都有对应的标签

算法：支持向量机（Support Vector Machine）、人工神经网络（Neural Networks）、深度神经网络（Deep Neural Networks）

（2）非监督学习（Unsupervised Learning）：所有训练数据都没有对应的标签

算法：聚类（Clustering）、EM算法（Expectation-Maximzation algorithm）、主成分分析（Principle Component Analysis）

（3）半监督学习（Semi-supervised Learning）：训练数据中一部分有标签，一部分没有；

少量标注数据+大量未标注数据更好的机器学习算法

                                                             

1.3 基于标签的固有属性分类

监督学习：①分类（Classification）：标签是离散的值；eg.人脸识别

②：回归（Regression）：标签是连续的值；eg.预测房价走势、股票价格、温度等

但是分类和回归问题的界限是非常模糊的。

2.1 机器学习算法的过程

机器学习的重点：假设在已经提取好特征的前提下，如何构造算法获得更好的性能。

第一步：特征提取（Feature Extraction）：通过训练样本获得的，对机器学习任务有帮助的多维度数据

第二部：特征选择（Feature Selection）

不同的算法对特征空间做不同的划分，得到不同的结果。

3.1 没有免费午餐定理

        任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对数据在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多。