2020/12/11 01-机器学习梯度下降算法与Ridge回归应用1

最新推荐文章于 2023-02-11 05:23:27 发布

48N6E

最新推荐文章于 2023-02-11 05:23:27 发布

阅读量378

点赞数

分类专栏：选修python

本文链接：https://blog.csdn.net/qq_42227818/article/details/111053831

版权

选修python 专栏收录该内容

16 篇文章 0 订阅

订阅专栏

正态分布其实是尖锥形的东西，越陡峭，平方差越小
在这里插入图片描述
不是用数学来验证算法，有时候是用算法验证数学原理

逻辑回归，梯度下降法，梯度下降法是一旦确定损失函数后，损失函数求解，其实有很多方法，梯度下降法不限于看到的哪一个回归或者算法里的，它讲的是一种求解算法，求解算法的前提条件，算法里有决策模型，第二个有数理的基础，最小损失函数，这是一个算法的最常见的思维套路
在这里插入图片描述
机器学习的常规套路，模式，决策模型，
2。从数学推理来建立损失模型（实际上是概率模型，也就是最大似然函数）
3.从最大似然模型转换成最小损失模型
4.找到一个有效的求解算法，求解（梯度下降）
最小二乘法有先天局限性，函数在求值的时候，其中的可逆矩阵未必是可逆的
在这里插入图片描述
梯度下降也有局限，如果求的导数不可导，不可微分的函数，梯度下降就不适合

按照梯度下降的模式可以做一个推导

s曲线一般是正态分布，它的累计函数的一个近似函数，正态函数是没有累积函数的概念的，正态分布函数是一个概率分布函数，在产生区间积分的时候，正太分布函数没有线性累积表达式
在这里插入图片描述
分子其实是1

s曲线也可以变成这样一个函数，s曲线有几个最大的优点，可导的，导数使用自己表示

神经网络的时候，这个函数非常常用

这个函数的输出值，0到1之间的东西

0到1根据概率模型，其实可以得到一个结论，可以当成1个概率
在这里插入图片描述

还有一个良好的性质，是单调的，概率越大，x是变大的

s曲线可以看出，单调是非常明显的，值在0到1之间，不可能等于1，可以等于0，但不可以等于1，是0和1的半开区间