从零开始学习逻辑回归

本文介绍了逻辑回归的学习过程,包括梯度下降法如何找到最小值,损失函数或成本函数的作用,以及平方差求和函数的特性。探讨了为何在逻辑回归中不能直接使用平方差作为损失函数,并提到了使用交叉熵的好处。同时鼓励读者进行讨论和交流。
摘要由CSDN通过智能技术生成

写逻辑回归的文章不少建议看以下两个,先看理论然后实操,发现问题了来这找找有没有解答。
https://blog.csdn.net/han_xiaoyang/article/details/49123419 学理论
https://blog.csdn.net/kt513226724/article/details/79956850 实操

实际学习过程中,问题很多。

**问题一:**梯度下降法为什么能找到最小值

y=x^2以及点(4,16)处的斜率
上图为一个二次函数和这个函数上的一个点(4,16)处的斜率
根据梯度下降,我们迭代这个式子 w = w - Alpha * d
设Alpha为0.2
d是x^2的导数即2x 得到下式
即第一次: w = 4 - 0.2 * 2 * 4 = 2.4 循环十次
2.4
1.44
0.864
0.5184
0.31104
0.18662399999999998
0.11197439999999999
0.06718463999999999
0.04031078399999999
0.024186470399999993
不难发现不断接近最小值0

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值