逻辑回归和梯度下降（基础了解）

逻辑回归（Logistic Regression, LR）

逻辑回归又称逻辑回归分析，是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。
设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列的分布函数和密度函数
一个事件的几率（odds）：指该事件发生与不发生的概率比值，若事件发生概率为p，那么事件发生的几率就是那么该事件的对数几率（log odds或者logit function）
根据广义线性模型的思想，可以通过寻找一个联系函数来将分类任务的真实标记与线性回归模型的预测值联系起来，最直接的想法是单位阶跃函数，但是单位阶跃函数不连续，所以我们希望找到一个替代函数来在一定程度上近似单位阶跃函数，并希望该函数单调可微，于是就引入了对数几率函数。
它是一个可导函数，定义域为(−∞,+∞)(−∞,+∞)，值域为[0, 1]，其导数为：g′(z)=g(z)(1−g(z))
使用线性回归模型的预测结果直接去逼近真实标记的对数几率，因此将其称作“对数几率回归”

logistic回归的损失函数

基本思想：应用极大似然估计法估计模型参数，从而将问题转化为以对数似然函数为目标函数的最优化问题，然后采用梯度下降法或者拟牛顿法进行求解
在LR中，最大似然函数与最小化对数损失函

梯度下降

一步步的朝向目标方向靠近。例如，把一个问题分成很多层次的问题，先从最底层开始解决，逐步解决高层问题。类似于下山问题。
梯度下降的计算公式

单变量函数的梯度下降

我们假设有一个单变量的函数

函数的微分

初始化，起点为

学习率为

我们开始进行梯度下降的迭代计算过程：

如图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底