机器学习笔记1

定义

非显著式编程

通过(E)experince,实现T(task),并用P(performance measure)来衡量性能，转为最优化问题

分类

1.监督学习(supervised learning)：经验E由人工采集输入计算机 (e.g.人脸识别.垃圾邮件识别):
        传统监督学习：支持向量机(support nectwork machine)、人工神经网络(neural networks)、  深度神经网络(deep neural networks)
        非监督学习(数据标签不存在)：聚类(clustering)、EM算法(expectation-maximization)、主成分分析(principal component analysis)

        半监督学习(semi-supervised learning):少量标注+大量没标注

2.强化学习(reinforcement learning)：经验E由环境交互获得，最大化收益函数(reward function)(e.g.下棋.无人驾驶)

1.分类(classification):预测的是离散值

2.回归(regression):预测的是连续值

算法过程

1.特征提取(feature extraction):通过训练样本获得有帮助的数据

2.特征选择(feature selection):

经过归一化后的得到结果，特征空间内画线

本质

有限的数据，在复杂高维特征空间预测未知样本。

需对特征空间的先验分布有假设：特征空间上距离接近的样本，属于同一类别的概率更高

如果没有对先验分布的假设，对错概率都一半。预测函数在某样本好，另一就不好，不可能通吃。