机器学习
(小白通俗理解)
机器学习包括监督学习和无监督学习
监督学习 首先,监督学习,我们所给的数据集由正确答案组成,计算机根据正确数据集对未知样本进行结果预测 无监督学习 无监督学习,所给数据集并没有正确答案,计算机会自己给数据进行分析分类,将数据分成不同的簇,因而常涉及聚类算法
实例:预测房价,通过已有数据集(包含有该市的住房价格),我们根据不同的房屋尺寸的价格来建造数据模型,预测得到所需要的大概价格,这是一个回归问题
课程中自定义字母含义
m:训练样本的数量
x:输入变量或者特征
y:表示输出变量即训练的目标变量
(x,y):表示一个训练样本
(x(i),y(i)):表示特定训练样本,上标i表数据集索引,表格中第i行
h:一个假设函数,给出x,h作为引导输出y
:=表赋值运算符 =表示真假判定
3.基础模型,线性回归(单变量线性回归)
线性假设函数
h表示一个函数,x是房屋尺寸的大小,根据输入所要预测的房屋尺寸x来得到y值,因此表示为
h
θ
=
θ
0
+
θ
1
x
h_\theta=\theta_0+\theta_1x
hθ=θ0+θ1x
只有一个变量,故称为单变量线性回归问题
4.代价函数(又称平方误差函数)
我们的目标是根据已有的x,y拟合出一个函数,使所得函数可以更准确的预测给定x下的y值,即寻求对应的
θ
0
\theta_0
θ0和
θ
1
\theta_1
θ1,使得所得预测值与实际值误差的平方最小
因而问题转化为求解代价函数
m
i
n
i
m
i
z
e
θ
0
θ
1
=
1
2
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
minimize\theta_0\theta_1=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2
minimizeθ0θ1=2m1∑i=1m(hθ(x(i))−y(i))2
即
J
(
θ
0
,
θ
1
)
=
1
2
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2
J(θ0,θ1)=2m1i=1∑m(hθ(x(i))−y(i))2
即为求
θ
0
\theta_0
θ0和
θ
1
\theta_1
θ1,使
m
i
n
i
m
i
z
e
J
(
θ
0
,
θ
1
)
minimizeJ(\theta_0,\theta_1)
minimizeJ(θ0,θ1)
代价函数又称为平方误差函数,有时也被称为平方误差代价函数。平方误差代价函数,对于大多数问题,特别是回归问题,都有一个合理的选择,其他的代价函数也会有很好的作用,但是平方误差代价函数是解决回归问题的最常用手段。
5.梯度下降算法 (gradient descent algorithm)(可以用来最小化任何代价函数)又叫"batch"gradient descent定义:
思想:开始随机选择参数组合,计算代价函数,然后寻找能让代价函数值下降最多的参数集合,持续做直到得到局部最小值。由于没有尝试所有参数组合,故不能确定所得局部最小值是否为全局最小值。
方法:重复直到收敛(repeat until convergence)
θ
j
:
=
θ
j
−
α
δ
δ
θ
j
J
(
θ
0
,
θ
1
)
\theta_j:=\theta_j-\alpha\frac{\delta}{\delta\theta_j}J(\theta_0,\theta_1)
θj:=θj−αδθjδJ(θ0,θ1) (for j=0 and j=1)
α
\alpha
α是一个被称为学习率的数字
学习率决定代价函数下降程度最大的方向向下迈出的步子有多大,每一次更新都同时让所有的参数减去学习率乘以代价函数的导数
注意要同步更新(simultaneous update)
t
e
m
p
0
:
=
θ
0
−
α
δ
δ
θ
0
J
(
θ
0
,
θ
1
)
temp0:=\theta_0-\alpha\frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1)
temp0:=θ0−αδθ0δJ(θ0,θ1)
t
e
m
p
1
:
=
θ
1
−
α
δ
δ
θ
1
J
(
θ
0
,
θ
1
)
temp1:=\theta_1-\alpha\frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1)
temp1:=θ1−αδθ1δJ(θ0,θ1)
θ
0
:
=
t
e
m
p
0
\theta_0:=temp0
θ0:=temp0
θ
1
:
=
t
e
m
p
1
\theta_1:=temp1
θ1:=temp1
(注意顺序必须是这样,否则做不到同步如:
t
e
m
p
0
:
=
θ
0
−
α
δ
δ
θ
0
J
(
θ
0
,
θ
1
)
temp0:=\theta_0-\alpha\frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1)
temp0:=θ0−αδθ0δJ(θ0,θ1)
θ
0
:
=
t
e
m
p
0
\theta_0:=temp0
θ0:=temp0 这里将
θ
0
\theta_0
θ0更新后,下面更新
θ
1
\theta_1
θ1式子里的
θ
0
\theta_0
θ0已经变化,因此做不到同步更新
t
e
m
p
1
:
=
θ
1
−
α
δ
δ
θ
1
J
(
θ
0
,
θ
1
)
temp1:=\theta_1-\alpha\frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1)
temp1:=θ1−αδθ1δJ(θ0,θ1)
θ
1
:
=
t
e
m
p
1
\theta_1:=temp1
θ1:=temp1)
6.第一个机器学习算法(梯度下降的线性回归算法)
现在将梯度下降算法应用于线性回归去最小化平方差代价函数
对于线性回归的平方差代价函数(即对该代价函数求偏导数进一步化简得如下)
θ
0
:
=
θ
0
−
α
1
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
\theta_0:=\theta_0-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})
θ0:=θ0−αm1i=1∑m(hθ(x(i))−y(i))
θ
1
:
=
θ
1
−
α
1
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
\theta_1:=\theta_1-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})
θ1:=θ1−αm1i=1∑m(hθ(x(i))−y(i))