机器学习笔记

机器学习定义

什么是机器学习？

机器学习（Machine Learning）：是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。一个程序被认为能从经验E中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验E后，经过P评判， 程序在处理T时的性能有所提升。

监督学习和无监督学习

监督学习（Supervised Learning）：对于数据集中每一个样本都有对应的标签，包括回归（regression）和分类（classification）；

无监督学习（Unsupervised Learning）：数据集中没有任何的标签，包括聚类（clustering），著名的一个例子是鸡尾酒晚会。实现公式：[W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x’);

单变量线性回归

模型表示（model representation）

给定训练样本( x i , y i ) (x^i,y^i)(x i,y i )，其中：i = 1 , 2 , . . . , m i=1,2,...,mi=1,2,...,m，x 表示特征，y 表示输出目标，监督学习算法的工作方式如图所示：

代价函数

代价函数（cost function）J(θ)，通常使用平方误差函数

代价函数的另外一个图形表示是等高图，如图所示：