面试准备------LR模型

logistics regression

首先明确参数模型和非参数模型的概念： 在参数模型中 通常假设总体服从某一分布，这些分布由某些参数所决定 （例如正态分布由均值和方差所决定），在此基础上构建的模型 称为参数模型
Logistics Regression 便是一个参数模型，假设总体服从伯努利分布，通过极大似然的方法 利用梯度下降求得参数，得到的二值分类模型。
对于线性回归模型 我们通过<w,x>的内积，并设置阈值作为分类的规则，此时<w,b>内积结果是实数域上的，Logistics regression 在此基础上引入了Sigmod函数 将实数域结果压缩到[0,1]范围 。
LR目标函数 ：h(x) =g(w^Tx)
其中g(z) 为sigmod函数 等于 1/(1+e^-z)
因此：
logistics regression的表达形式为 P(y=1|w,x)=1/(1+e^-wx)

我们希望随机数据点被正确分类的概率最大,对于任意的x_i,y_i P(y_i=1|w,x_i)= 1/(1+e^-wx_i) 我们使用字母p来表示 那么等于0的概率为1-p ，综合起来即为

因为我们想要所有的数据点每一个的正确分类概率都尽可能大 因此可以将这些概率全部相乘

通过取对数进一步化简 可以得到logistics regression的目标函数
L(w)=∑_i y_ilog p+(1-y_i)(log (1-p))
此时这个式子中唯一的变量就是w，我们通过寻找w使得L(w)取到最大值
这时需要做的就是求L对于w的导数
（注：一定要记住sigmod函数求导的特性 p对于w的导数等于 p(1-p)x (1-p)对于w的导数等于）