CS231n计算机视觉中:
classification分类:判断是猫、狗、。。。
localization定位=regression回归:框出猫在一张图像上的位置坐标
CS229机器学习中:
Regression:线性回归linear regression:前提假设是
y∼N(μ,σ2)
y
∼
N
(
μ
,
σ
2
)
, y服从正态分布,使用极大似然估计计算得到的cost function是最小二乘:
J(θ)=12∑i=1m(hθ(x(i))−y(i))2
J
(
θ
)
=
1
2
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
Classification:逻辑回归logistic regression: y∼Bernouli(ϕ) y ∼ B e r n o u l i ( ϕ ) ,y服从二项分布(y非0即1),使用极大似然估计计算得到的cost function是: J(θ)=∑i=1m[y(i)log(hθ(x(i)+(1−y(i))log(1−hθ(x(i)))] J ( θ ) = ∑ i = 1 m [ y ( i ) l o g ( h θ ( x ( i ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ]
机器学习的核心是一个model,一个loss function/cost function,一个优化算法;
最小二乘least squares method和极大似然maximum likelihood是要优化的目标函数,最小二乘是从函数形式上看的,极大似然是从概率意义上看的;
梯度下降gradient descent method、牛顿法、拟牛顿法是优化算法;