监督学习:需要数据集已有正确答案
回归问题:预测连续值 如:预测房价
分类问题:预测离散值 如:预测是否是恶性肿瘤
监督学习工作方式
training set ->learning algorithm->hypothesis
----------------------------------------------------------------------------------------------------
m:训练样本数目(样本容量)
x:输入变量
y:输出变量(目标变量)
(x,y):一个训练样本
第i个训练样本
单变量线性回归
代价函数
平方差代价函数
梯度下降最小化代价函数:初始化θ0和θ1之后不断更新二者的值使得代价函数J最小
α:学习速率,即以多大幅度更新参数,太小导致梯度下降速度太慢,太大可能会越过最低点甚至不会收敛会发散。
事实证明线性回归的代价函数总是一个弓形的函数,叫做凸函数。凸函数意味着一个碗状的函数,所以这个函数除了一个全局最优之外没有任何局部的最优。当你使用线性回归时它总是收敛于全局最优的。
无监督学习:数据集没有正确答案
聚类问题:
鸡尾酒会算法(非聚类):
octave