xiaoxifei的专栏

logistic regression文章目录logistic regression原理前言建模思路为什么采用sigmoid为什么采用交叉熵构建损失函数原理前言逻辑回归与分类同线性回归与分类有很强的关系；关于逻辑回归算法本身的学习应当参考线性回所指出的一般性思路，即先找两个算法的共同点；其后就逻辑回归算法设计的独到之处进行辨明，即学习该算法相较于其他算法的不同点；从中领略算法设计的思想。建模逻辑回归的建模是明确且简单的，假设具有(x0(0),x1(0),...),(x0(1),x1(1),...

线性回归文章目录线性回归原理机器学习最一般性的思路原理线性回归是一个很基础很简单的问题。如下所示特征1特征2特征3…标签值x10x_1^0x10​x20x_2^0x20​x30x_3^0x30​…y0y_0y0​x11x_1^1x11​x21x_2^1x21​x31x_3^1x31​…y1y_1y1​……………这是一组特征值序列以及他们的标签。线性回归实际上是认为这些特征值同标签存在着线性相关的关系，关系可以描述为:hθ(X)=

机器学习中用到的微分文章目录机器学习中用到的微分背景现有常见微分方式梳理自动微分forward 方法backward方法自动微分与机器学习自动微分与机器视觉背景机器学习中尤其是深度学习用到的数学基础首推微分。机器学习中优化问题的解决大多数情况下同微分有关，比如牛顿法，梯度下降法；深度学习中就更不用说了，整个深度学习框架（tensorflow，pytoch等等）的基石，或者说首要处理的问题就是自动微分，pytorch的前身Chainer名字的来源更是微分中的链式罚则。可见理解机器学习中的微分有多重要。这

梯度下降优化方法文章目录梯度下降优化方法背景思想原理背景梯度下降优化方法是最为简单基础的优化方法，其直观好用的特点支持其广泛应用于传统的机器学习到深度学习任务；是非常基础且常用的方法；了解其原理对于理解机器学习的框架具有重要意义。思想梯度下降思想非常简单直观，具体可以如下图所述：（这里不讨论具体优化函数的凸性与否）如图所示，梯度下降的思路是非常直观的，即从任意的初始点开始沿着梯度值减少的方向更新获得下一个计算点，在以此点迭代更新获得新的计算点，从而达到获取函数极值的目的。就像上图所示，从初始点