1.1 机器学习的分类
1.1.1 机器学习任务
1、监督学习(Supervised Learning)所有经验E都是人工采集并输入计算机的
eg:人脸识别
2、强化学习(Reinforcement Learning)经验E是由计算机与环境互动获得的,计算机产生行为,同时获得行为的结果,只需要用程序定义这些行为的收益函数(Reward function),奖励or惩罚
算法:自动改变模式,最大化收益函数
结合例子:ALPHAGO→监督学习→初始围棋程序强化学习
1.2 监督学习根据数据标签存在与否的分类
(1)传统的监督学习(Traditional Supervised Learning):每一个训练数据都有对应的标签
算法:支持向量机(Support Vector Machine)、人工神经网络(Neural Networks)、深度神经网络(Deep Neural Networks)
(2)非监督学习(Unsupervised Learning):所有训练数据都没有对应的标签
算法:聚类(Clustering)、EM算法(Expectation-Maximzation algorithm)、主成分分析(Principle Component Analysis)
(3)半监督学习(Semi-supervised Learning):训练数据中一部分有标签,一部分没有;
少量标注数据+大量未标注数据更好的机器学习算法
1.3 基于标签的固有属性分类
监督学习:①分类(Classification):标签是离散的值;eg.人脸识别
②:回归(Regression):标签是连续的值;eg.预测房价走势、股票价格、温度等
但是分类和回归问题的界限是非常模糊的。
2.1 机器学习算法的过程
机器学习的重点:假设在已经提取好特征的前提下,如何构造算法获得更好的性能。
第一步:特征提取(Feature Extraction):通过训练样本获得的,对机器学习任务有帮助的多维度数据
第二部:特征选择(Feature Selection)
不同的算法对特征空间做不同的划分,得到不同的结果。
3.1 没有免费午餐定理
任何一个预测函数,如果在一些训练样本上表现好,那么必然在另一些训练样本上表现不好,如果不对数据在特征空间的先验分布有一定假设,那么表现好与表现不好的情况一样多。