三、数学 求导
1.常见函数的导数
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2WVetBW5-1574402869962)(file:///C:/Users/%E6%B8%85%E9%A3%8E/Desktop/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AF%BE%E4%BB%B6/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AE%B2%E4%B9%89/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%EF%BC%88%E7%AE%97%E6%B3%95%E7%AF%87%EF%BC%89/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/images/%E6%B1%82%E5%AF%BC%E5%85%AC%E5%BC%8F.png)]](https://i-blog.csdnimg.cn/blog_migrate/163f413311e0af1be23abda23766d3db.png)
2.导数的四则运算
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-leCk7uWB-1574402869967)(file:///C:/Users/%E6%B8%85%E9%A3%8E/Desktop/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AF%BE%E4%BB%B6/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AE%B2%E4%B9%89/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%EF%BC%88%E7%AE%97%E6%B3%95%E7%AF%87%EF%BC%89/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/images/%E6%B1%82%E5%AF%BC%E5%9B%9B%E5%88%99%E8%BF%90%E7%AE%97.png)]](https://i-blog.csdnimg.cn/blog_migrate/f63dd6dcb9af3222eec5cd6cd86d90a6.png)
四、线性回归的损失和优化
1.损失函数
总损失定义为：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zllAsC3v-1574402869968)(file:///C:/Users/%E6%B8%85%E9%A3%8E/Desktop/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AF%BE%E4%BB%B6/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AE%B2%E4%B9%89/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%EF%BC%88%E7%AE%97%E6%B3%95%E7%AF%87%EF%BC%89/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/images/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0.png)]](https://i-blog.csdnimg.cn/blog_migrate/d077ffcb45f855d49515a0a437872074.png)
- yi为第i个训练样本的真实值
- h(xi)为第i个训练样本特征值组合预测函数
- 又称最小二乘法
如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！
2.优化算法
如何去求模型中的W，使得损失最小？（目的是找到最小损失对应的W值）
- 线性回归经常使用的两种优化算法
- 正规方程
- 梯度下降法
3.正规方程
3.1 什么是正规方程
理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果
缺点：当特征过多过复杂时，求解速度太慢并且得不到结果
3.2 正规方程的推导
-
推导方式一：
把该损失函数转换成矩阵写法：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L5C4qlVr-1574402869971)(file:///C:/Users/%E6%B8%85%E9%A3%8E/Desktop/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AF%BE%E4%BB%B6/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AE%B2%E4%B9%89/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%EF%BC%88%E7%AE%97%E6%B3%95%E7%AF%87%EF%BC%89/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/images/%E7%9F%A9%E9%98%B5%E8%A1%A8%E7%A4%BA%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0.png)]](https://i-blog.csdnimg.cn/blog_migrate/b7d048c470f9c9cdf3199b9dd2470327.png)
其中y是真实值矩阵，X是特征值矩阵，w是权重矩阵。
对其求解关于w的最小值，起止y,X已知二次函数直接求导，导数为零的位置，即为最小值。
求导：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gsv5bQJA-1574402869973)(file:///C:/Users/%E6%B8%85%E9%A3%8E/Desktop/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AF%BE%E4%BB%B6/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AE%B2%E4%B9%89/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%EF%BC%88%E7%AE%97%E6%B3%95%E7%AF%87%EF%BC%89/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/images/%E6%AD%A3%E8%A7%84%E6%96%B9%E7%A8%8B%E6%8E%A8%E5%AF%BC2-3809987.png)]](https://i-blog.csdnimg.cn/blog_migrate/f8af3df39b12e4aefbca40e9df300ffe.png)
注：式(1)到式(2)推导过程中, X是一个m行n列的矩阵，并不能保证其有逆矩阵，但是右乘XT把其变成一个方阵，保证其有逆矩阵。
式（5）到式（6）推导过程中，和上类似。
扫一扫
2043
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
