线性回归(Linear Regression):
线性回归是回归模型,y=f(x):表明自变量x和因变量y的关系。
1.模型
2.策略
损失函数(平方损失函数):
注:平方误差代价函数是解决回归问题最常用的代价函数。
3.算法
最小二乘法:
注意:要求X是满秩的!
逻辑回归(Logistic Regression):
逻辑回归是统计学习中的经典分类方法,属于对数线性模型。
1.模型
逻辑回归实际上是处理二类分类问题的模型,输出结果是0或1,在线性回归的基础之上,引入Sigmoid函数将输出值控制在[0, 1]之间,并规定大于等于0.5,将预测值记为1;小于0.5,将预测值记为0。
Sigmoid函数:线性函数的值越接近正无穷大,概率值越接近1;反之,线性函数的值越接近负无穷,概率值就越接近0。
函数曲线如下:
2.策略
逻辑回归服从伯努利分布,输出结果用概率(后验概率)的形式表示,可以将表达式写成:
整合得到:
极大似然函数(后验概率的连乘),即极大似然估计:
取对数,得到对数似然函数:
上述函数求极大值即可得到局部最优解,转变为以下函数即为求极小值,损失函数(对数损失函数):
注:对数损失函数是凸函数。
3.算法
使用梯度下降法来极小化损失函数来更新权值,梯度的负方向就是代价函数下降最快的方向。
sigmoid函数求导:
更新参数:
参考博客:
https://www.cnblogs.com/zhibei/p/9349254.html
https://www.cnblogs.com/jiangxinyang/p/9282124.html
https://blog.csdn.net/zjuPeco/article/details/77165974
https://blog.csdn.net/weixin_44420421/article/details/103826576?ops_request_misc=%7B%22request%5Fid%22%3A%22158245062219726869019507%22%2C%22scm%22%3A%2220140713.130056874…%22%7D&request_id=158245062219726869019507&biz_id=0&utm_source=distribute.pc_search_result.none-task