监督学习
非监督学习
回归问题: 值连续 如产品销量预测
分类问题 :值是离散的 如是否得肿瘤
非监督学习: 数据没有标签 数据分为几个不同的聚类
聚类算法 把不同分类丢入不同分类
鸡尾酒会算法
Octave
线性回归算法 监督学习
m 训练样本书目
x 输入变量/特征量
y 输出变量/目标变量
(xi,yi) 一个训练样本
Vector :an nX 1matrix
梯度下降法
特征缩放: 把某个值等比例缩小,一般都缩放到-1到1
均值归一化: 数值-均值/特征值范围 最大值-最小值
正规方程法
θ = pinv(X'X)X'y
X为特征矩阵,其中每一行为x(i)'
复杂度高,为O(n3)
只能用在一部分线性回归
y为目标向量
得到的θ为最佳参数
正规方程法不需要均值归一化
非监督学习
回归问题: 值连续 如产品销量预测
分类问题 :值是离散的 如是否得肿瘤
非监督学习: 数据没有标签 数据分为几个不同的聚类
聚类算法 把不同分类丢入不同分类
鸡尾酒会算法
Octave
线性回归算法 监督学习
m 训练样本书目
x 输入变量/特征量
y 输出变量/目标变量
(xi,yi) 一个训练样本
Vector :an nX 1matrix
梯度下降法
特征缩放: 把某个值等比例缩小,一般都缩放到-1到1
均值归一化: 数值-均值/特征值范围 最大值-最小值
x1 = (x1-u1)/s1
代价函数:
J(θ0,θ1)=12m∑i=1m(y^i−yi)2=12m∑i=1m(hθ(xi)−yi)2Gradient Descent(梯度下降算法)
θj:=θj−α∂∂θjJ(θ0,θ1)α为学习率,J为代价函数
θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)
正规方程法
θ = pinv(X'X)X'y
X为特征矩阵,其中每一行为x(i)'
复杂度高,为O(n3)
只能用在一部分线性回归
y为目标向量
得到的θ为最佳参数
正规方程法不需要均值归一化