CS231n分类和回归、CS229中的回归

CS231n计算机视觉中：
classification分类：判断是猫、狗、。。。
localization定位=regression回归：框出猫在一张图像上的位置坐标

CS229机器学习中：
Regression:线性回归linear regression：前提假设是$y \sim \mathcal{N}(\mu, \sigma^2)$ ， y服从正态分布，使用极大似然估计计算得到的cost function是最小二乘:
$J(\theta)=\frac {1} {2}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$

Classification:逻辑回归logistic regression：$y \sim \mathcal{Bernouli}(\phi)$ ，y服从二项分布（y非0即1），使用极大似然估计计算得到的cost function是：$J(\theta)=\sum\limits_{i=1}^{m}[y^{(i)}log(h_\theta(x^{(i)}+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$

机器学习的核心是一个model,一个loss function/cost function,一个优化算法；
最小二乘least squares method和极大似然maximum likelihood是要优化的目标函数，最小二乘是从函数形式上看的，极大似然是从概率意义上看的；
梯度下降gradient descent method、牛顿法、拟牛顿法是优化算法；