逻辑斯蒂回归的学习

        逻辑回归,虽然叫做回归问题,但其确实不是用于回归的场景,而是应用于分类的场景中。逻辑回归可以用于二分类,也可以用于多分类中。是一种判别模型,由条件概率分布来确定。

       逻辑斯蒂回归(logistic regression),是一种对数线性模型,常用于分类。是判别模型,由条件概率分布P(Y|X)来确定。

        逻辑斯蒂回归的数学基础是逻辑斯蒂分布(logistic distribution),逻辑斯蒂分布与sigmod函数紧紧联系在一起。

        对于二元的逻辑斯蒂回归(binomial logistic regression model),主要是依托于sigmod函数,然后将对于变量(训练数据)的线性模型输入到sigmod函数中,然后将其映射为0-1的值,对于大于等于0.5的,分类为1,对于小于0.5的,分类为0。而对数线性的来源在于判断1,0分类时,将其比值取对数的时候时线性。

         对于二元逻辑斯蒂回归中,我们需要利用训练数据来估计模型的参数,然后得到最优的模型。优化目标是极小化对数似然函数,优化手段是梯度下降法或拟牛顿法来进行求解。

          多项逻辑斯蒂回归模型(multi-norminal logistic regression model),用于多类分类。从概率的角度,与二项逻辑斯蒂回归模型类似,也是在分子的方面有所不同。

 

阅读更多

没有更多推荐了,返回首页