参考:讲义和视频http://www.cnblogs.com/fanyabo/p/4060498.html
个人只是将思路整理一下。
线性回归:
1)损失函数:
2)解释:(概率解释:)
对上面的式子求“极大自然估计:”可得到损失函数。
求解过程:
对于损失函数最小化的方法:剃度下降、最小二乘法
1.1)批处理梯度下降:1.2)随机梯度下降:
2)最小二乘法:
注:自己要推导一遍。
局部(加权的)的线性回归:原因,好处,坏处
批处理梯度下降和随机梯度下降相比较:
最小二乘法与梯度下降的相比较:
----------------------------------------------------------
逻辑回归:来处理0/1分类的问题
一、sigmoid函数:
二、推导(最大似然+梯度下降):
SoftMax回归:解决多个分类的问题
指数家族,广义线性模型GLM。