0)回归和分类本来是一个事情,区别是:目标是连续值的称为回归,目标是离散值的称为分类。
1)线性回归(Linear Regression)——拟合连续数据
2)加权线性回归(Weighted Linear Regression)——lazy,similar to KNN3)logistic回归——拟合0/1二值分类问题
4)误差函数(error function)
5)最小化误差函数J(θ)的方法1——(批量/增量<随机>)梯度下降法(Gradient Descent)
6)最小化误差函数J(θ)的方法2——最小二乘法(min square),矩阵计算(Normal Equation)
7)一般线性模型
8)Softmax回归(Softmax Regression,classification problems where y = {1,2,...,k})
0)回归和分类本来是一个事情,区别是:目标是连续值的称为回归,目标是离散值的称为分类。
1)线性回归(Linear Regression)——拟合连续数据
2)加权线性回归(Weighted Linear Regression)——lazy,similar to KNN
通常选择如下:
3)logistic回归——拟合0/1二值分类问题
二值分类问题首先想到满足伯努利分布(当然假设它满足泊松分布、指数分布等等也可以,只是比较复杂,后面会提到线性回归的一般形式):
所以:p(y|x;θ) = hθ(x)^y * (1-hθ(x))^y。即
4)误差函数(error function)
5)最小化误差函数J(θ)的方法1——(批量/增量<随机>)梯度下降法(Gradient Descent)1)首先对θ赋值,这个值可以是随机的,也可以让θ是一个全零的向量。
2)改变θ的值,使得J(θ)按梯度下降的方向进行减少。
梯度方向由J(θ)对θ的偏导数确定,由于求的是极小值,因此梯度方向是偏导数的反方向。结果为
6)最小化误差函数J(θ)的方法2——最小二乘法(min square),矩阵计算(Normal Equation)
θ可以由下面公式(称为正规方程)直接计算
但此方法要求X是列满秩的,而且求矩阵的逆比较慢。
7)一般线性模型
如果一个概率分布可以表示成 时,那么这个概率分布可以称作是指数分布。
伯努利分布,高斯分布,泊松分布,贝塔分布,狄特里特分布都属于指数分布,因为他们经过变形都能找到对应的a、b、T。
一般线性模型的要点:
2) 给定x,我们的目标是要确定,大多数情况下
,那么我们实际上要确定的是
,而
。(在logistic回归中期望值是
,因此h是
;在线性回归中期望值是
,而高斯分布中
,因此线性回归中h=
)。
定义 且满足
并且 ,即k-1维问题,而非k维问题。
为了将该问题表述成指数分布,引入T(y),它是一组k-1维的向量,这里的T(y)不是y,T(y)i表示T(y)的第i个分量。
由于y = {1,2,...,k},那么p(y)可以表示为
即:
由上式和可解得:
对于y=i,有:
对应最大似然估为:
对该公式可以使用梯度下降或者牛顿法迭代求解。
另外,假设对应期望值
参考:http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html