机器学习第一周（补）

监督学习
非监督学习


回归问题: 值连续  如产品销量预测
分类问题 :值是离散的  如是否得肿瘤


非监督学习: 数据没有标签    数据分为几个不同的聚类
聚类算法  把不同分类丢入不同分类


鸡尾酒会算法


Octave




线性回归算法  监督学习
m  训练样本书目
x  输入变量/特征量
y 输出变量/目标变量
(xi,yi)  一个训练样本



Vector :an nX 1matrix
梯度下降法
特征缩放:  把某个值等比例缩小,一般都缩放到-1到1
均值归一化:   数值-均值/特征值范围    最大值-最小值

x1 = (x1-u1)/s1

代价函数：

J(θ0,θ1)=12m∑i=1m(y^i−yi)2=12m∑i=1m(hθ(xi)−yi)2

Gradient Descent（梯度下降算法）

θj:=θj−α∂∂θjJ(θ0,θ1)

α为学习率，J为代价函数

θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)

正规方程法
θ = pinv(X'X)X'y
X为特征矩阵,其中每一行为x(i)'
复杂度高,为O(n3)
只能用在一部分线性回归
y为目标向量
得到的θ为最佳参数
正规方程法不需要均值归一化